大模型理論與實(shí)踐：打造行業(yè)智能助手

第1章大模型導(dǎo)論1
1.1大模型概念1
1.1.1預(yù)訓(xùn)練2
1.1.2有監(jiān)督微調(diào)2
1.1.3偏好對(duì)齊2
1.2大模型的過(guò)去、現(xiàn)在與未來(lái)2
1.2.1大模型簡(jiǎn)史2
1.2.2大模型的現(xiàn)狀4
1.2.3大模型未來(lái)展望8
1.3本書的讀者對(duì)象與內(nèi)容11
參考文獻(xiàn)12
第2章大模型基礎(chǔ)知識(shí)13
2.1分詞13
2.1.1粒度13
2.1.2子詞拆分算法13
2.1.3實(shí)現(xiàn)14
2.2位置編碼15
2.2.1RoPE15
2.2.2ALiBi16
2.3網(wǎng)絡(luò)結(jié)構(gòu)17
2.3.1Transformer架構(gòu)17
2.3.2大模型的Transformer架構(gòu)20
2.3.3MoE模型22
2.4長(zhǎng)上下文25
2.4.1采用RoPE位置編碼的長(zhǎng)上下文擴(kuò)展25
2.4.2注意力操作優(yōu)化27
參考文獻(xiàn)31
第3章大語(yǔ)言模型分布式訓(xùn)練33
3.1大語(yǔ)言模型高效訓(xùn)練技術(shù)要點(diǎn)33
3.2并行模式34
3.2.1數(shù)據(jù)并行化35
3.2.2流水線并行化35
3.2.3張量并行化37
3.3集合通信38
3.3.1allreduce操作的分解39
3.3.2allreduce操作的高效實(shí)現(xiàn)39
3.4DeepSpeed訓(xùn)練加速框架40
3.4.1ZeRO技術(shù)41
3.4.2ZeRO技術(shù)與流水線并行化結(jié)合43
3.4.3ZeRO技術(shù)與張量并行化結(jié)合43
3.5DeepSpeed訓(xùn)練方案建議44
參考文獻(xiàn)45
第4章繼續(xù)預(yù)訓(xùn)練46
4.1繼續(xù)預(yù)訓(xùn)練的必要性46
4.2數(shù)據(jù)預(yù)處理47
4.2.1低質(zhì)數(shù)據(jù)過(guò)濾48
4.2.2去重48
4.3實(shí)戰(zhàn): 行業(yè)大模型的繼續(xù)預(yù)訓(xùn)練49
4.3.1數(shù)據(jù)準(zhǔn)備49
4.3.2數(shù)據(jù)處理50
4.3.3模型訓(xùn)練50
參考文獻(xiàn)59
第5章對(duì)齊(上)——指令微調(diào)60
5.1指令微調(diào)的必要性60
5.2微調(diào)方法61
5.2.1全參微調(diào)61
5.2.2部分參數(shù)微調(diào)61
5.3指令集的自動(dòng)構(gòu)造64
5.3.1指令的大規(guī)模自動(dòng)生成64
5.3.2指令集的進(jìn)化66
5.3.3拒絕采樣66
5.4實(shí)戰(zhàn): 打造具有多輪對(duì)話能力的行業(yè)智能助手66
5.4.1數(shù)據(jù)準(zhǔn)備67
5.4.2數(shù)據(jù)處理67
5.4.3模型訓(xùn)練69
5.4.4評(píng)測(cè)74
參考文獻(xiàn)75
第6章對(duì)齊(下)——強(qiáng)化學(xué)習(xí)微調(diào)76
6.1強(qiáng)化學(xué)習(xí)微調(diào)的必要性76
6.2人類偏好對(duì)齊的強(qiáng)化學(xué)習(xí)建模77
6.3RLHF78
6.3.1RLHF技術(shù)基本流程78
6.3.2獎(jiǎng)勵(lì)模型78
6.3.3PPO算法79
6.4RLAIF81
6.4.1偏好標(biāo)注81
6.4.2微調(diào)技術(shù)路線83
6.4.3評(píng)估83
6.5實(shí)戰(zhàn): DeepSpeedChat代碼解析84
6.5.1訓(xùn)練獎(jiǎng)勵(lì)模型84
6.5.2PPO訓(xùn)練85
6.6DPO算法90
6.6.1DPO算法目標(biāo)函數(shù)推導(dǎo)91
6.6.2Online DPO算法92
參考文獻(xiàn)94
第7章推理與部署95
7.1推理加速95
7.1.1常規(guī)工程化手段95
7.1.2自注意力計(jì)算訪存優(yōu)化97
7.1.3推測(cè)解碼97
7.2量化102
7.2.1量化感知訓(xùn)練103
7.2.2訓(xùn)練后量化104
7.3部署109
7.3.1TensorRTLLM109
7.3.2vLLM111
7.3.3DeepSpeed Inference111
7.3.4SGLang112
7.3.5平臺(tái)選型建議112
7.4實(shí)戰(zhàn): 使用FastChat部署Qwen 14B113
7.4.1準(zhǔn)備工作113
7.4.2部署113
參考文獻(xiàn)115
第8章多模態(tài)大模型116
8.1多模態(tài)技術(shù)路線116
8.2橋接多模態(tài)大模型120
8.2.1Flamingo121
8.2.2BLIP系列124
8.2.3LLaVA128
8.2.4OneLLM129
8.3原生多模態(tài)大模型131
8.3.1Gemini132
8.3.2GPT4o133
8.3.3Chameleon133
參考文獻(xiàn)136
第9章AI智能體137
9.1AI智能體架構(gòu)138
9.1.1感知139
9.1.2規(guī)劃139
9.1.3記憶143
9.1.4行動(dòng)147
9.2開發(fā)框架149
9.2.1LangChain149
9.2.2AutoGen150
9.2.3AGENTS151
9.2.4MetaGPT153
參考文獻(xiàn)154