PyTorch 2.0深度學(xué)習(xí)從零開始學(xué)

目 錄

第1章 PyTorch 2.0—一個(gè)新的開始 1

1.1 燎原之勢(shì)的人工智能 1

1.1.1 從無(wú)到有的人工智能 1

1.1.2 深度學(xué)習(xí)與人工智能 2

1.1.3 應(yīng)用深度學(xué)習(xí)解決實(shí)際問(wèn)題 2

1.1.4 深度學(xué)習(xí)技術(shù)的優(yōu)勢(shì)和挑戰(zhàn) 3

1.2 為什么選擇PyTorch 2.0 4

1.2.1 PyTorch的前世今生 4

1.2.2 更快、更優(yōu)、更具編譯支持—PyTorch 2.0更好的未來(lái) 4

1.2.3 PyTorch 2.0學(xué)習(xí)路徑—從零基礎(chǔ)到項(xiàng)目實(shí)戰(zhàn) 5

1.3 本章小結(jié) 6

第2章 Hello PyTorch 2.0—深度學(xué)習(xí)環(huán)境搭建 7

2.1 安裝Python 7

2.1.1 Miniconda的下載與安裝 7

2.1.2 PyCharm的下載與安裝 10

2.1.3 Python代碼小練習(xí)：計(jì)算Softmax函數(shù) 13

2.2 安裝PyTorch 2.0 14

2.2.1 Nvidia 10/20/30/40系列顯卡選擇的GPU版本 15

2.2.2 PyTorch 2.0 GPU Nvidia運(yùn)行庫(kù)的安裝—以CUDA 11.7 cuDNN 8.2.0為例 15

2.2.3 PyTorch 2.0小練習(xí)：Hello PyTorch 18

2.3 實(shí)戰(zhàn)：基于PyTorch 2.0的圖像去噪 18

2.3.1 MNIST數(shù)據(jù)集的準(zhǔn)備 18

2.3.2 MNIST數(shù)據(jù)集的特征和標(biāo)簽介紹 20

2.3.3 模型的準(zhǔn)備和介紹 21

2.3.4 模型的損失函數(shù)與優(yōu)化函數(shù) 24

2.3.5 基于深度學(xué)習(xí)的模型訓(xùn)練 24

2.4 本章小結(jié) 26

第3章 基于PyTorch的MNIST分類實(shí)戰(zhàn) 27

3.1 實(shí)戰(zhàn)：基于PyTorch的MNIST手寫體分類 27

3.1.1 數(shù)據(jù)圖像的獲取與標(biāo)簽的說(shuō)明 27

3.1.2 模型的準(zhǔn)備（多層感知機(jī)） 29

3.1.3 損失函數(shù)的表示與計(jì)算 30

3.1.4 基于PyTorch的手寫體識(shí)別的實(shí)現(xiàn) 31

3.2 PyTorch 2.0模型結(jié)構(gòu)輸出與可視化 33

3.2.1 查看模型結(jié)構(gòu)和參數(shù)信息 33

3.2.2 基于netron庫(kù)的PyTorch 2.0模型可視化 34

3.2.3 更多的PyTorch 2.0模型可視化工具 37

3.3 本章小結(jié) 38

第4章 深度學(xué)習(xí)的理論基礎(chǔ) 39

4.1 反向傳播神經(jīng)網(wǎng)絡(luò)的歷史 39

4.2 反向傳播神經(jīng)網(wǎng)絡(luò)兩個(gè)基礎(chǔ)算法詳解 43

4.2.1 最小二乘法詳解 43

4.2.2 道士下山的故事—梯度下降算法 45

4.2.3 最小二乘法的梯度下降算法以及Python實(shí)現(xiàn) 48

4.3 反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹 54

4.3.1 深度學(xué)習(xí)基礎(chǔ) 54

4.3.2 鏈?zhǔn)角髮?dǎo)法則 55

4.3.3 反饋神經(jīng)網(wǎng)絡(luò)的原理與公式推導(dǎo) 56

4.3.4 反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù) 61

4.3.5 反饋神經(jīng)網(wǎng)絡(luò)原理的Python實(shí)現(xiàn) 62

4.4 本章小結(jié) 66

第5章 基于PyTorch卷積層的MNIST分類實(shí)戰(zhàn) 67

5.1 卷積運(yùn)算的基本概念 68

5.1.1 基本卷積運(yùn)算示例 68

5.1.2 PyTorch 2.0中卷積函數(shù)實(shí)現(xiàn)詳解 70

5.1.3 池化運(yùn)算 72

5.1.4 Softmax激活函數(shù) 73

5.1.5 卷積神經(jīng)網(wǎng)絡(luò)的原理 74

5.2 實(shí)戰(zhàn)：基于卷積的MNIST手寫體分類 76

5.2.1 數(shù)據(jù)準(zhǔn)備 77

5.2.2 模型設(shè)計(jì) 77

5.2.3 基于卷積的MNIST分類模型 78

5.3 PyTorch 2.0的深度可分離膨脹卷積詳解 80

5.3.1 深度可分離卷積的定義 81

5.3.2 深度的定義以及不同計(jì)算層待訓(xùn)練參數(shù)的比較 82

5.3.3 膨脹卷積詳解 83

5.4 實(shí)戰(zhàn)：基于深度可分離膨脹卷積的MNIST手寫體識(shí)別 84

5.5 本章小結(jié) 86

第6章 PyTorch數(shù)據(jù)處理與模型可視化 87

6.1 用于自定義數(shù)據(jù)集的torch.utils.data工具箱使用詳解 88

6.1.1 使用torch.utils.data.Dataset封裝自定義數(shù)據(jù)集 88

6.1.2 改變數(shù)據(jù)類型的Dataset類中transform的使用 90

6.1.3 批量輸出數(shù)據(jù)的DataLoader類詳解 94

6.2 基于tensorboardX的訓(xùn)練可視化展示 97

6.2.1 tensorboardX的安裝與簡(jiǎn)介 97

6.2.2 tensorboardX可視化組件的使用 97

6.2.3 tensorboardX對(duì)模型訓(xùn)練過(guò)程的展示 99

6.3 本章小結(jié) 102

第7章 從冠軍開始—實(shí)戰(zhàn)ResNet 103

7.1 ResNet基礎(chǔ)原理與程序設(shè)計(jì)基礎(chǔ) 103

7.1.1 ResNet誕生的背景 104

7.1.2 不要重復(fù)造輪子—PyTorch 2.0中的模塊工具 106

7.1.3 ResNet殘差模塊的實(shí)現(xiàn) 107

7.1.4 ResNet網(wǎng)絡(luò)的實(shí)現(xiàn) 109

7.2 實(shí)戰(zhàn)ResNet：CIFAR-10數(shù)據(jù)集分類 112

7.2.1 CIFAR-10數(shù)據(jù)集簡(jiǎn)介 112

7.2.2 基于ResNet的CIFAR-10數(shù)據(jù)集分類 115

7.3 本章小結(jié) 117

第8章 梅西-阿根廷 巴西=？—有趣的Word Embedding 118

8.1 文本數(shù)據(jù)處理 119

8.1.1 數(shù)據(jù)集介紹和數(shù)據(jù)清洗 119

8.1.2 停用詞的使用 121

8.1.3 詞向量訓(xùn)練模型Word2Vec使用介紹 124

8.1.4 文本主題的提?。夯赥F-IDF 127

8.1.5 文本主題的提?。夯赥extRank 131

8.2 更多的Word Embedding方法—FastText和預(yù)訓(xùn)練詞向量 133

8.2.1 FastText的原理與基礎(chǔ)算法 134

8.2.2 FastText訓(xùn)練以及與PyTorch 2.0的協(xié)同使用 135

8.2.3 使用其他預(yù)訓(xùn)練參數(shù)生成PyTorch 2.0詞嵌入矩陣（中文） 140

8.3 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介—字符卷積 141

8.3.1 字符（非單詞）文本的處理 141

8.3.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)—Conv1d（一維卷積） 149

8.4 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介—詞卷積 151

8.4.1 單詞的文本處理 152

8.4.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)—Conv2d（二維卷積） 153

8.5 使用卷積實(shí)現(xiàn)文本分類的補(bǔ)充內(nèi)容 156

8.6 本章小結(jié) 159

第9章 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文情感分類實(shí)戰(zhàn) 160

9.1 實(shí)戰(zhàn)：循環(huán)神經(jīng)網(wǎng)絡(luò)與情感分類 160

9.1.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文情感分類準(zhǔn)備 161

9.1.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的中文情感分類實(shí)現(xiàn) 163

9.2 循環(huán)神經(jīng)網(wǎng)絡(luò)理論講解 165

9.2.1 什么是GRU 166

9.2.2 單向不行，那就雙向 167

9.3 本章小結(jié) 168

第10章 從0起步—自然語(yǔ)言處理的編碼器 169

10.1 編碼器的核心—注意力模型 170

10.1.1 輸入層—初始詞向量層和位置編碼器層 170

10.1.2 自注意力層（重點(diǎn)） 172

10.1.3 ticks和LayerNormalization 177

10.1.4 多頭自注意力 178

10.2 編碼器的實(shí)現(xiàn) 181

10.2.1 前饋層的實(shí)現(xiàn) 182

10.2.2 編碼器的實(shí)現(xiàn) 183

10.3 實(shí)戰(zhàn)編碼器：漢字拼音轉(zhuǎn)換模型 186

10.3.1 漢字拼音數(shù)據(jù)集處理 186

10.3.2 漢字拼音轉(zhuǎn)換模型的確定 188

10.3.3 模型訓(xùn)練部分的編寫 191

10.4 本章小結(jié) 193

第11章 站在巨人肩膀上的預(yù)訓(xùn)練模型BERT 194

11.1 預(yù)訓(xùn)練模型BERT 194

11.1.1 BERT的基本架構(gòu)與應(yīng)用 195

11.1.2 BERT預(yù)訓(xùn)練任務(wù)與Fine-Tuning 195

11.2 實(shí)戰(zhàn)BERT：中文文本分類 198

11.2.1 使用Hugging Face獲取BERT預(yù)訓(xùn)練模型 198

11.2.2 BERT實(shí)戰(zhàn)文本分類 200

11.3 更多的預(yù)訓(xùn)練模型 204

11.4 本章小結(jié) 206

第12章 從1起步—自然語(yǔ)言處理的解碼器 207

12.1 解碼器的核心—注意力模型 207

12.1.1 解碼器的輸入和交互注意力層的掩碼 208

12.1.2 為什么通過(guò)掩碼操作能夠減少干擾 213

12.1.3 解碼器的輸出（移位訓(xùn)練方法） 214

12.1.4 解碼器的實(shí)現(xiàn) 215

12.2 實(shí)戰(zhàn)解碼器：漢字拼音翻譯模型 217

12.2.1 數(shù)據(jù)集的獲取與處理 218

12.2.2 翻譯模型 220

12.2.3 漢字拼音模型的訓(xùn)練 230

12.2.4 漢字拼音模型的使用 231

12.3 本章小結(jié) 232

第13章 我也可以成為馬斯克—無(wú)痛的基于PyTorch的強(qiáng)化學(xué)習(xí)實(shí)戰(zhàn) 233

13.1 實(shí)戰(zhàn)：基于強(qiáng)化學(xué)習(xí)的火箭回收 233

13.1.1 火箭回收技術(shù)基本運(yùn)行環(huán)境介紹 234

13.1.2 火箭回收參數(shù)介紹 235

13.1.3 基于強(qiáng)化學(xué)習(xí)的火箭回收實(shí)戰(zhàn) 236

13.1.4 強(qiáng)化學(xué)習(xí)的基本內(nèi)容 241

13.2 強(qiáng)化學(xué)習(xí)的基本算法—PPO算法 246

13.2.1 PPO算法簡(jiǎn)介 246

13.2.2 函數(shù)使用說(shuō)明 246

13.2.3 一學(xué)就會(huì)的TD-Error理論介紹 248

13.2.4 基于TD-Error的結(jié)果修正 250

13.2.5 對(duì)于獎(jiǎng)勵(lì)的倒序構(gòu)成的說(shuō)明 251

13.3 本章小結(jié) 252

第14章 創(chuàng)建你自己的小精靈—基于MFCC的語(yǔ)音喚醒實(shí)戰(zhàn) 253

14.1 語(yǔ)音識(shí)別的理論基礎(chǔ)—MFCC 253

14.2 語(yǔ)音識(shí)別的數(shù)據(jù)獲取與準(zhǔn)備 255

14.2.1 Speech Commands簡(jiǎn)介與數(shù)據(jù)說(shuō)明 255

14.2.2 語(yǔ)音識(shí)別編碼器模塊與代碼實(shí)現(xiàn) 258

14.3 實(shí)戰(zhàn)：PyTorch 2.0語(yǔ)音識(shí)別 260

14.3.1 基于PyTorch 2.0的語(yǔ)音識(shí)別模型 260

14.3.2 基于PyTorch 2.0的語(yǔ)音識(shí)別實(shí)現(xiàn) 261

14.4 本章小結(jié) 262

第15章 基于PyTorch的人臉識(shí)別實(shí)戰(zhàn) 263

15.1 人臉識(shí)別數(shù)據(jù)集的建立 263

15.1.1 LFW數(shù)據(jù)集簡(jiǎn)介 264

15.1.2 Dlib庫(kù)簡(jiǎn)介 264

15.1.3 OpenCV簡(jiǎn)介 265

15.1.4 使用Dlib檢測(cè)人臉位置 265

15.1.5 使用Dlib和OpenCV建立自己的人臉檢測(cè)數(shù)據(jù)集 268

15.1.6 基于人臉定位制作適配深度學(xué)習(xí)的人臉識(shí)別數(shù)據(jù)集 270

15.2 實(shí)戰(zhàn)：基于深度學(xué)習(xí)的人臉識(shí)別模型 274

15.2.1 人臉識(shí)別的基本模型Siamese Model 274

15.2.2 基于PyTorch 2.0的Siamese Model的實(shí)現(xiàn) 276

15.2.3 人臉識(shí)別的Contrastive Loss詳解與實(shí)現(xiàn) 277

15.2.4 基于PyTorch 2.0的人臉識(shí)別模型 278

15.3 本章小結(jié) 280