注冊 | 登錄讀書好,好讀書,讀好書!
讀書網-DuShu.com
當前位置: 首頁出版圖書科學技術計算機/網絡操作系統(tǒng)開啟智能對話新紀元:大規(guī)模語言模型的探索與實踐

開啟智能對話新紀元:大規(guī)模語言模型的探索與實踐

開啟智能對話新紀元:大規(guī)模語言模型的探索與實踐

定 價:¥99.00

作 者: 蔡華、徐清、宣曉華
出版社: 清華大學出版社
叢編項:
標 簽: 暫缺

購買這本書可以去


ISBN: 9787302678533 出版時間: 2024-12-01 包裝: 平裝-膠訂
開本: 16開 頁數: 字數:  

內容簡介

  本書深度探討了當今科技領域最引人注目的大規(guī)模語言模型相關技術,內容主要圍繞大規(guī)模語言模型構建、評估和應用展開,分為以下四部分:第 1~5章主要介紹大規(guī)模語言模型的發(fā)展歷程及其訓練相關內容,包括語言模型的基本架構、大規(guī)模語言模型的高效微調技術、人類反饋強化學習和模型的分布式訓練;第 6和 7章主要介紹大規(guī)模語言模型的推理優(yōu)化技術、推理加速框架和模型的評估;第 8~10章主要介紹大規(guī)模語言模型擴展和應用,包括大規(guī)模語言模型和知識的融合、多模態(tài)大規(guī)模語言模型的技術介紹和其智能體擴展應用,以及大規(guī)模語言模型的垂直領域應用;第 11章主要介紹大規(guī)模語言模型研究的困難、挑戰(zhàn)和未來潛在研究方向。本書面向技術愛好者、從業(yè)者、學術研究者和一般讀者。它提供大規(guī)模語言模型相關的全面介紹,幫助從業(yè)人員和專業(yè)人士了解大規(guī)模語言模型的應用及技術原理,支持學術界研究前沿技術,并以通俗的語言幫助讀者理解這一技術及其對生活的影響。

作者簡介

暫缺《開啟智能對話新紀元:大規(guī)模語言模型的探索與實踐》作者簡介

圖書目錄

第 1章大規(guī)模語言模型的背景介紹 1 
11語言建模的發(fā)展階段  2 
12大規(guī)模語言模型帶來的機遇  3
第 2章從統(tǒng)計語言模型到預訓練語言模型 5 
21統(tǒng)計語言模型  6 
22神經網絡語言模型 7 
221前饋神經網絡語言模型  7 
222循環(huán)神經網絡語言模型  8 
223長短期記憶神經網絡語言模型  9 
224 Word2Vec詞向量表示模型 10 
23 預訓練語言模型 12 
ELMo 12
231 Transformer13
232 BERT 22
233 ELECTRA 23
234 GPT 1-325
235 BART 29
236 T5 31
237 
第 3章大規(guī)模語言模型的框架結構 34 
31編碼器結構36 
32 編碼器-解碼器結構 36 
GLM36
321 UL2 41
322 
33 解碼器結構43 
PaLM43
331 BLOOM45
332 InstructGPT47
333 
34 LLaMA家族 50 
341預訓練數據 52 
342模型架構 53 
343中文 LLaMA 62 
344中文 Alpaca66
第 4章大規(guī)模語言模型的訓練方法 69 
41模型的訓練成本 71 
411算力估算 71 
412費用和能耗 72 
42有監(jiān)督微調74 
421提示學習 75 
422上下文學習 76 
423指令微調 77 
43參數高效微調 78 
431部分參數的高效微調79 
432參數增加的高效微調80 
433重參數化的高效微調91 
434混合高效微調系列 97 
44人類反饋強化學習100 
441強化學習 101 
442近端策略優(yōu)化104 
443人類反饋對齊111 
45大模型災難性遺忘123
第 5章大模型分布式并行技術125 
51分布式系統(tǒng)125 
52數據并行 129 
521輸入數據切分130 
522模型參數同步131 
523數據并行優(yōu)化132 
 
53模型并行 134 
531 張量并行 134 
532 流水線并行 139 
533 優(yōu)化器相關并行 141 
54其他并行 146 
541 異構系統(tǒng)并行146 
542 專家并行 147 
543 多維混合并行148 
544 自動并行 149 
55并行訓練框架 149 
551  Megatron-LM152 
552  DeepSpeed159 
Colossal-AI163
553 
第 6章大規(guī)模語言模型解碼推理優(yōu)化相關技術 168 
61解碼方法 168 
611 基于搜索的解碼方法169 
612 基于采樣的解碼方法171 
62推理優(yōu)化方法 174 
621 推理原理 177 
622 推理加速 177 
63模型壓縮技術 179 
631 量化 181 
632 剪枝 184 
633 蒸餾 186 
64顯存優(yōu)化技術 187 
641 鍵值緩存 187 
642 注意力優(yōu)化 188 
65算子優(yōu)化技術 195 
651 算子融合 195 
652 高性能算子 195 
66推理加速框架 195 
661  HuggingFace TGI196 
vLLM197
662 
663  LightLLM200
第 7章大規(guī)模語言模型的評估203 
71評估概述 205 
72評估體系 206 
 
721知識與能力 207 
722倫理與安全 209 
73評估方法 212 
731自動評估 213 
732人工評估 217 
733其他評估 221 
74評估領域 223 
741通用領域 223 
742特定領域 226 
743綜合評測 227 
75評估挑戰(zhàn) 232
第 8章大規(guī)模語言模型與知識的結合233 
81知識和知識表示 233 
82知識圖譜簡介 236 
83大規(guī)模語言模型和知識圖譜的結合 238 
84知識圖譜增強大規(guī)模語言模型 240 
841 LLM預訓練階段240 
842 LLM評估階段 245 
843 LLM推理階段 247 
85大規(guī)模語言模型增強知識圖譜 249 
851知識圖譜嵌入249 
852知識圖譜補全251 
853知識圖譜構建257 
854知識圖譜到文本生成263 
855知識圖譜問答265 
86大規(guī)模語言模型和知識圖譜協(xié)同267 
861知識表示 267 
862知識推理 268 
87知識檢索增強大規(guī)模語言模型工程應用268 
871結構化數據 269 
872結構化和非結構化數據 270 
873向量數據庫 272 
874 LangChain知識庫問答276 
88未來的發(fā)展方向 279
第 9章多模態(tài)大規(guī)模語言模型技術應用 281 
91多模態(tài)指令調節(jié) 285 
911模態(tài)對齊 286 
 
912數據收集 287 
913模態(tài)橋接 290 
914模型評估 292 
92多模態(tài)上下文學習296 
93多模態(tài)思維鏈 299 
931模態(tài)連接 299 
932學習范式 300 
933鏈的配置和形式 301 
94 LLM輔助視覺推理 301 
941訓練范式 303 
942功能角色 305 
943模型評估 307 
95 LLM擴展智能體 307 
951智能體308 
952記憶模塊 312 
953任務規(guī)劃 314 
954動作模塊 317 
955評估策略 319 
96多模態(tài)語言模型挑戰(zhàn) 323 
961技術問題 323 
962成本問題 323 
963社會問題 324
第 10章大規(guī)模語言模型應用 326 
101法律領域 328 
1011法律提示研究329 
1012法律綜合評估332 
102教育領域 336 
1021能力評估 336 
1022倫理問題 340 
1023問答應用 341 
103金融領域 342 
1031智能應用場景346 
1032困難和挑戰(zhàn) 347 
104生物醫(yī)療 348 
1041潛力和價值 348 
1042應用的場景 351 
1043困難和挑戰(zhàn) 355 
105代碼生成 356 
 
1051代碼生成問題356 
1052代碼大規(guī)模語言模型357 
1053發(fā)展趨勢 361
第 11章展望和結論 363 
111局限和挑戰(zhàn) 363 
1111局限 363 
1112挑戰(zhàn) 364 
112方向和建議 365 
1121數據方面 365 
1122技術方面 365 
1123應用方面 366 
1124方向建議 366 
113值得探索的研究 368 
1131基礎理論研究369 
1132高效計算研究370 
1133安全倫理研究371 
1134數據和評估研究 372 
1135認知學習問題373 
1136高效適配研究374
參考文獻 376 
 
 

本目錄推薦

掃描二維碼
Copyright ? 讀書網 ranfinancial.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號 鄂公網安備 42010302001612號