GPT圖解大模型是怎樣構建的

定　價：￥79.80

作　者：	黃佳著
出版社：	人民郵電出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787115623683	出版時間：	2023-12-01	包裝：	平裝
開本：		頁數(shù)：		字數(shù)：

內容簡介

　　人工智能（AI），尤其是生成式語言模型和生成式人工智能（AIGC）模型，正以驚人的速度改變著我們的世界。駕馭這股潮流的關鍵，莫過于探究自然語言處理（NLP）技術的深奧秘境。本書將帶領讀者踏上一段扣人心弦的探索之旅，讓其親身感受，并動手搭建語言模型。本書主要內容包括N-Gram，詞袋模型（BoW），Word2Vec（W2V），神經概率語言模型（NPLM），循環(huán)神經網絡（RNN），Seq2Seq（S2S），注意力機制，Transformer，從初代GPT到ChatGPT再到GPT-4等一系列突破性技術的誕生與演進。　本書將以生動活潑的筆觸，將枯燥的技術細節(jié)化作輕松幽默的故事和繽紛多彩的圖畫，引領讀者穿梭于不同技術的時空，見證自然語言處理技術的傳承、演進與蛻變。在這場不斷攀登技術新峰的奇妙之旅中，讀者不僅能深入理解自然語言處理技術的核心原理，還能自己動手，從零開始搭建起一個又一個語言模型?！o論你是在校學生還是人工智能從業(yè)者，這本書都將成為一盞明燈，照亮你探索人工智能無限奧秘的道路。

作者簡介

　　黃佳，筆名咖哥，新加坡科技研究局人工智能研究員。主攻方向為 NLP 大模型的研發(fā)與應用、持續(xù)學習、AI in FinTech。黃佳深耕人工智能領域多年，積累了豐富的科研項目和政府、銀行、能源、醫(yī)療等領域 AI 項目落地實戰(zhàn)經驗，目前正與 PlatoX.AI 展開富有前景的技術合作。曾著有《零基礎學機器學習》《數(shù)據分析咖哥十話》等多部熱銷書。同時，在極客時間開設專欄《零基礎實戰(zhàn)機器學習》《LangChain 實戰(zhàn)課》，在深藍學院開設視頻課程“生成式預訓練語言模型：理論與實戰(zhàn)”。

圖書目錄

目　錄

序章　看似尋常最奇崛，成如容易卻艱辛　001

GPT-4：點亮人工通用智能的火花　002

人工智能演進之路：神經網絡兩落三起　004

現(xiàn)代自然語言處理：從規(guī)則到統(tǒng)計　007

何為語言？信息又如何傳播？　008

NLP是人類和計算機溝通的橋梁　009

NLP技術的演進史　010

大規(guī)模預訓練語言模型：BERT與GPT爭鋒　012

語言模型的誕生和進化　012

統(tǒng)計語言模型的發(fā)展歷程　014

基于Transformer架構的預訓練模型　016

“預訓練+微調大模型”的模式　018

以提示/指令模式直接使用大模型　019

從初代GPT到ChatGPT，再到GPT-4　021

GPT作為生成式模型的天然優(yōu)勢　022

ChatGPT背后的推手——OpenAI　023

從初代GPT到ChatGPT，再到GPT-4的進化史　024

第 1課　高樓萬丈平地起：語言模型的雛形N-Gram和簡單文本表示Bag-of-Words　026

1.1　N-Gram模型　026

1.2　“詞”是什么，如何“分詞”　030

1.3　創(chuàng)建一個Bigram字符預測模型　032

1.4　詞袋模型　036

1.5　用詞袋模型計算文本相似度　037

小結　042

思考　043

第 2課　問君文本何所似：詞的向量表示Word2Vec和Embedding　044

2.1　詞向量 ≈ 詞嵌入　045

2.2　Word2Vec：CBOW模型和Skip-Gram模型　047

2.3　Skip-Gram模型的代碼實現(xiàn)　050

2.4　CBOW模型的代碼實現(xiàn)　061

2.5　通過nn.Embedding來實現(xiàn)詞嵌入　063

小結　067

思考　068

第3課　山重水復疑無路：神經概率語言模型和循環(huán)神經網絡　069

3.1　NPLM的起源　070

3.2　NPLM的實現(xiàn)　072

3.3　循環(huán)神經網絡的結構　079

3.4　循環(huán)神經網絡實戰(zhàn)　082

小結　086

思考　087

第4課　柳暗花明又一村：Seq2Seq編碼器-解碼器架構　088

4.1　Seq2Seq架構　089

4.2　構建簡單Seq2Seq架構　092

小結　103

思考　103

第5課　見微知著開慧眼：引入注意力機制　104

5.1　點積注意力　105

5.2　縮放點積注意力　114

5.3　編碼器-解碼器注意力　116

5.4　注意力機制中的Q、K、V　122

5.5　自注意力　125

5.6　多頭自注意力　126

5.7　注意力掩碼　129

5.8　其他類型的注意力　131

小結　132

思考　132

第6課　　層巒疊翠上青天：搭建GPT核心組件Transformer　133

6.1　Transformer架構剖析　133

6.1.1　編碼器-解碼器架構　135

6.1.2　各種注意力的應用　135

6.1.3　編碼器的輸入和位置編碼　140

6.1.4　編碼器的內部結構　141

6.1.5　編碼器的輸出和編碼器-解碼器的連接　142

6.1.6　解碼器的輸入和位置編碼　143

6.1.7　解碼器的內部結構　145

6.1.8　解碼器的輸出和Transformer的輸出頭　146

6.2　Transformer代碼實現(xiàn)　148

6.3　完成翻譯任務　176

6.3.1　數(shù)據準備　177

6.3.2　訓練Transformer模型　179

6.3.3　測試Transformer模型　179

小結　181

思考　182

第7課　芳林新葉催陳葉：訓練出你的簡版生成式GPT　183

7.1　BERT與GPT爭鋒　184

7.2　GPT：生成式自回歸模型　188

7.3　構建GPT模型并完成文本生成任務　191

7.3.1　搭建GPT模型（解碼器）　　　　192

7.3.2　構建文本生成任務的數(shù)據集　　　　195

7.3.3　訓練過程中的自回歸　　　　198

7.3.4　文本生成中的自回歸（貪婪搜索）　　　　200

7.4　使用WikiText2數(shù)據集訓練Wiki-GPT模型　201

7.4.1　用WikiText2構建Dataset和DataLoader　　　　202

7.4.2　用DataLoader提供的數(shù)據進行訓練　　　　206

7.4.3　用Evaluation Dataset評估訓練過程　　　　207

7.4.4　文本生成中的自回歸（集束搜索）　　　　209

小結　212

思考　213

第8課　流水后波推前波：ChatGPT基于人類反饋的強化學習　214

8.1　從GPT到ChatGPT　215

8.2　在Wiki-GPT基礎上訓練自己的簡版ChatGPT　218

8.3　用Hugging Face預訓練GPT微調ChatGPT　225

8.4　ChatGPT的RLHF實戰(zhàn)　233

8.4.1　強化學習基礎知識　　　　235

8.4.2　簡單RLHF實戰(zhàn)　　　　237

小結　243

思考　244

第9課　生生不息的循環(huán)：使用強大的GPT-4 API　245

9.1　強大的OpenAI API　245

9.2　使用GPT-4 API　249

小結　251

思考　252

后　記　莫等閑，白了少年頭　253