" 本書(shū)旨在幫助讀者理解開(kāi)源大語(yǔ)言模型的架構(gòu)、訓(xùn)練和推理過(guò)程，以及相關(guān)的源代碼。主要研究對(duì)象是Meta開(kāi)源的Llama模型。本書(shū)從Python Numpy實(shí)現(xiàn)單層感知機(jī)和神經(jīng)網(wǎng)絡(luò)開(kāi)始，逐步講解了如何實(shí)現(xiàn)Transformer模型和Llama模型。此外，本書(shū)還介紹了增量預(yù)訓(xùn)練模型、監(jiān)督微調(diào)和人類(lèi)反饋強(qiáng)化學(xué)習(xí)等模型訓(xùn)練過(guò)程。對(duì)于私有知識(shí)的加入，書(shū)中重點(diǎn)介紹了監(jiān)督微調(diào)，也介紹了RAG中詞向量的計(jì)算。本書(shū)采用循序漸進(jìn)的方式，通過(guò)功能框圖、代碼分解執(zhí)行、執(zhí)行結(jié)果顯示、背景知識(shí)補(bǔ)充等手段幫助讀者理解模型和算法。
本書(shū)的核心讀者群體定位為大語(yǔ)言模型應(yīng)用的開(kāi)發(fā)人員，特別適合那些想從計(jì)算機(jī)視覺(jué)轉(zhuǎn)向自然語(yǔ)言處理的人。此外，本書(shū)還適合作為大學(xué)本科生及研究生相關(guān)課程的參考教材使用。"