解剖深度學(xué)習(xí)原理：從0編寫深度學(xué)習(xí)庫

第1章　編程和數(shù)學(xué)基礎(chǔ) 1
1.1　Python快速入門 1
1.1.1　快速安裝Python 1
1.1.2　Python基礎(chǔ) 2
1.1.3　Python中的常見運算 5
1.1.4　Python控制語句 7
1.1.5　Python常用容器類型 10
1.1.6　Python常用函數(shù) 16
1.1.7　類和對象 22
1.1.8　Matplotlib入門 24
1.2　張量庫NumPy 33
1.2.1　什么是張量 33
1.2.2　創(chuàng)建ndarray對象 37
1.2.3　ndarray數(shù)組的索引和切片 53
1.2.4　張量的計算 57
1.3　微積分 63
1.3.1　函數(shù) 64
1.3.2　四則運算和復(fù)合運算 66
1.3.3　極限和導(dǎo)數(shù) 69
1.3.4　導(dǎo)數(shù)的四則運算和鏈?zhǔn)椒▌t 72
1.3.5　計算圖、正向計算和反向傳播求導(dǎo) 74
1.3.6　多變量函數(shù)的偏導(dǎo)數(shù)與梯度 75
1.3.7　向量值函數(shù)的導(dǎo)數(shù)與Jacobian矩陣 78
1.3.8　積分 83
1.4　概率基礎(chǔ) 84
1.4.1　概率 84
1.4.2　條件概率、聯(lián)合概率、全概率公式、貝葉斯公式 86
1.4.3　隨機變量 88
1.4.4　離散型隨機變量的概率分布 89
1.4.5　連續(xù)型隨機變量的概率密度 91
1.4.6　隨機變量的分布函數(shù) 93
1.4.7　期望、方差、協(xié)方差、協(xié)變矩陣 95
第2章　梯度下降法 99
2.1　函數(shù)極值的必要條件 99
2.2　梯度下降法基礎(chǔ) 101
2.3　梯度下降法的參數(shù)優(yōu)化策略 108
2.3.1　Momentum法 108
2.3.2　AdaGrad法 110
2.3.3　AdaDelta法 112
2.3.4　RMSprop法 114
2.3.5　Adam法 115
2.4　梯度驗證 117
2.4.1　比較數(shù)值梯度和分析梯度 117
2.4.2　通用的數(shù)值梯度 118
2.5　分離梯度下降法與參數(shù)優(yōu)化策略 119
2.5.1　參數(shù)優(yōu)化器 119
2.5.2　接受參數(shù)優(yōu)化器的梯度下降法 120
第3章　線性回歸、邏輯回歸和softmax回歸 122
3.1　線性回歸 122
3.1.1　餐車?yán)麧檰栴} 122
3.1.2　機器學(xué)習(xí)與人工智能 123
3.1.3　什么是線性回歸 126
3.1.4　用正規(guī)方程法求解線性回歸問題 127
3.1.5　用梯度下降法求解線性回歸問題 129
3.1.6　調(diào)試學(xué)習(xí)率 133
3.1.7　梯度驗證 135
3.1.8　預(yù)測 135
3.1.9　多特征線性回歸 136
3.2　數(shù)據(jù)的規(guī)范化 143
3.2.1　預(yù)測大壩出水量 143
3.2.2　數(shù)據(jù)的規(guī)范化過程 147
3.3　模型的評估 149
3.3.1　欠擬合和過擬合 149
3.3.2　驗證集和測試集 153
3.3.3　學(xué)習(xí)曲線 155
3.3.4　偏差和方差 160
3.4　正則化 165
3.5　邏輯回歸 168
3.5.1　邏輯回歸基礎(chǔ) 169
3.5.2　邏輯回歸的NumPy實現(xiàn) 173
3.5.3　實戰(zhàn)：鳶尾花分類的NumPy實現(xiàn) 178
3.6　softmax回歸 180
3.6.1　spiral數(shù)據(jù)集 180
3.6.2　softmax函數(shù) 181
3.6.3　softmax回歸模型 186
3.6.4　多分類交叉熵?fù)p失 188
3.6.5　通過加權(quán)和計算交叉熵?fù)p失 191
3.6.6　softmax回歸的梯度計算 191
3.6.7　softmax回歸的梯度下降法的實現(xiàn) 197
3.6.8　spiral數(shù)據(jù)集的softmax回歸模型 197
3.7　批梯度下降法和隨機梯度下降法 199
3.7.1　MNIST手寫數(shù)字集 199
3.7.2　用部分訓(xùn)練樣本訓(xùn)練邏輯回歸模型 201
3.7.3　批梯度下降法 202
3.7.4　隨機梯度下降法 207
第4章　神經(jīng)網(wǎng)絡(luò) 209
4.1　神經(jīng)網(wǎng)絡(luò)概述 209
4.1.1　感知機和神經(jīng)元 209
4.1.2　激活函數(shù) 213
4.1.3　神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí) 216
4.1.4　多個樣本的正向計算 221
4.1.5　輸出 224
4.1.6　損失函數(shù) 224
4.1.7　基于數(shù)值梯度的神經(jīng)網(wǎng)絡(luò)訓(xùn)練 229
4.2　反向求導(dǎo) 235
4.2.1　正向計算和反向求導(dǎo) 235
4.2.2　計算圖 237
4.2.3　損失函數(shù)關(guān)于輸出的梯度 239
4.2.4　2層神經(jīng)網(wǎng)絡(luò)的反向求導(dǎo) 242
4.2.5　2層神經(jīng)網(wǎng)絡(luò)的Python實現(xiàn) 247
4.2.6　任意層神經(jīng)網(wǎng)絡(luò)的反向求導(dǎo) 252
4.3　實現(xiàn)一個簡單的深度學(xué)習(xí)框架 256
4.3.1　神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程 256
4.3.2　網(wǎng)絡(luò)層的代碼實現(xiàn) 257
4.3.3　網(wǎng)絡(luò)層的梯度檢驗 260
4.3.4　神經(jīng)網(wǎng)絡(luò)的類 261
4.3.5　神經(jīng)網(wǎng)絡(luò)的梯度檢驗 263
4.3.6　基于深度學(xué)習(xí)框架的MNIST手寫數(shù)字識別 266
4.3.7　改進(jìn)的通用神經(jīng)網(wǎng)絡(luò)框架：分離加權(quán)和與激活函數(shù) 268
4.3.8　獨立的參數(shù)優(yōu)化器 276
4.3.9　fashion-mnist的分類訓(xùn)練 279
4.3.10　讀寫模型參數(shù) 282
第5章　改進(jìn)神經(jīng)網(wǎng)絡(luò)性能的基本技巧 285
5.1　數(shù)據(jù)處理 285
5.1.1　數(shù)據(jù)增強 285
5.1.2　規(guī)范化 289
5.1.3　特征工程 289
5.2　參數(shù)調(diào)試 296
5.2.1　權(quán)重初始化 296
5.2.2　優(yōu)化參數(shù) 301
5.3　批規(guī)范化 301
5.3.1　什么是批規(guī)范化 301
5.3.2　批規(guī)范化的反向求導(dǎo) 303
5.3.3　批規(guī)范化的代碼實現(xiàn) 304
5.4　正則化 310
5.4.1　權(quán)重正則化 310
5.4.2　Dropout 312
5.4.3　早停法 316
5.5　梯度爆炸和梯度消失 317
第6章　卷積神經(jīng)網(wǎng)絡(luò) 318
6.1　卷積入門 319
6.1.1　什么是卷積 319
6.1.2　一維卷積 325
6.1.3　二維卷積 326
6.1.4　多通道輸入和多通道輸出 338
6.1.5　池化 341
6.2　卷積神經(jīng)網(wǎng)絡(luò)概述 344
6.2.1　全連接神經(jīng)元和卷積神經(jīng)元 345
6.2.2　卷積層和卷積神經(jīng)網(wǎng)絡(luò) 346
6.2.3　卷積層和池化層的反向求導(dǎo)及代碼實現(xiàn) 349
6.2.4　卷積神經(jīng)網(wǎng)絡(luò)的代碼實現(xiàn) 361
6.3　卷積的矩陣乘法 364
6.3.1　一維卷積的矩陣乘法 364
6.3.2　二維卷積的矩陣乘法 365
6.3.3　一維卷積反向求導(dǎo)的矩陣乘法 371
6.3.4　二維卷積反向求導(dǎo)的矩陣乘法 373
6.4　基于坐標(biāo)索引的快速卷積 377
6.5　典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 393
6.5.1　LeNet-5 393
6.5.2　AlexNet 394
6.5.3　VGG 395
6.5.4　殘差網(wǎng)絡(luò) 396
6.5.5　Inception網(wǎng)絡(luò) 398
6.5.6　NiN 399
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò) 403
7.1　序列問題和模型 403
7.1.1　股票價格預(yù)測問題 404
7.1.2　概率序列模型和語言模型 405
7.1.3　自回歸模型 406
7.1.4　生成自回歸數(shù)據(jù) 406
7.1.5　時間窗方法 408
7.1.6　時間窗采樣 409
7.1.7　時間窗方法的建模和訓(xùn)練 409
7.1.8　長期預(yù)測和短期預(yù)測 410
7.1.9　股票價格預(yù)測的代碼實現(xiàn) 412
7.1.10　k-gram語言模型 415
7.2　循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 416
7.2.1　無記憶功能的非循環(huán)神經(jīng)網(wǎng)絡(luò) 417
7.2.2　具有記憶功能的循環(huán)神經(jīng)網(wǎng)絡(luò) 418
7.3　穿過時間的反向傳播 421
7.4　單層循環(huán)神經(jīng)網(wǎng)絡(luò)的實現(xiàn) 425
7.4.1　初始化模型參數(shù) 425
7.4.2　正向計算 425
7.4.3　損失函數(shù) 427
7.4.4　反向求導(dǎo) 427
7.4.5　梯度驗證 429
7.4.6　梯度下降訓(xùn)練 432
7.4.7　序列數(shù)據(jù)的采樣 433
7.4.8　序列數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練和預(yù)測 441
7.5　循環(huán)神經(jīng)網(wǎng)絡(luò)語言模型和文本的生成 448
7.5.1　字符表 448
7.5.2　字符序列樣本的采樣 450
7.5.3　模型的訓(xùn)練和預(yù)測 452
7.6　循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度爆炸和梯度消失 455
7.7　長短期記憶網(wǎng)絡(luò) 456
7.7.1　LSTM的神經(jīng)元 457
7.7.2　LSTM的反向求導(dǎo) 460
7.7.3　LSTM的代碼實現(xiàn) 461
7.7.4　LSTM的變種 469
7.8　門控循環(huán)單元 470
7.8.1　門控循環(huán)單元的工作原理 470
7.8.2　門控循環(huán)單元的代碼實現(xiàn) 472
7.9　循環(huán)神經(jīng)網(wǎng)絡(luò)的類及其實現(xiàn) 475
7.9.1　用類實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò) 475
7.9.2　循環(huán)神經(jīng)網(wǎng)絡(luò)單元的類實現(xiàn) 483
7.10　多層循環(huán)神經(jīng)網(wǎng)絡(luò)和雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 491
7.10.1　多層循環(huán)神經(jīng)網(wǎng)絡(luò) 491
7.10.2　多層循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測 497
7.10.3　雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 500
7.11　Seq2Seq模型 506
7.11.1　機器翻譯概述 507
7.11.2　Seq2Seq模型的實現(xiàn) 508
7.11.3　字符級的Seq2Seq模型 516
7.11.4　基于Word2Vec的Seq2Seq模型 522
7.11.5　基于詞嵌入層的Seq2Seq模型 533
7.11.6　注意力機制 541
第8章　生成模型 552
8.1　生成模型概述 552
8.2　自動編碼器 556
8.2.1　什么是自動編碼器 557
8.2.2　稀疏編碼器 559
8.2.3　自動編碼器的代碼實現(xiàn) 560
8.3　變分自動編碼器 563
8.3.1　什么是變分自動編碼器 563
8.3.2　變分自動編碼器的損失函數(shù) 564
8.3.3　變分自動編碼器的參數(shù)重采樣 565
8.3.4　變分自動編碼器的反向求導(dǎo) 565
8.3.5　變分自動編碼器的代碼實現(xiàn) 566
8.4　生成對抗網(wǎng)絡(luò) 571
8.4.1　生成對抗網(wǎng)絡(luò)的原理 573
8.4.2　生成對抗網(wǎng)絡(luò)訓(xùn)練過程的代碼實現(xiàn) 577
8.5　生成對抗網(wǎng)絡(luò)建模實例 579
8.5.1　一組實數(shù)的生成對抗網(wǎng)絡(luò)建模 579
8.5.2　二維坐標(biāo)點的生成對抗網(wǎng)絡(luò)建模 585
8.5.3　MNIST手寫數(shù)字集的生成對抗網(wǎng)絡(luò)建模 590
8.5.4　生成對抗網(wǎng)絡(luò)的訓(xùn)練技巧 594
8.6　生成對抗網(wǎng)絡(luò)的損失函數(shù)及其概率解釋 594
8.6.1　生成對抗網(wǎng)絡(luò)的損失函數(shù)的全局最優(yōu)解 594
8.6.2　Kullback-Leibler散度和Jensen-Shannon散度 595
8.6.3　生成對抗網(wǎng)絡(luò)的最大似然解釋 598
8.7　改進(jìn)的損失函數(shù)——Wasserstein GAN 599
8.7.1　Wasserstein GAN的原理 599
8.7.2　Wasserstein GAN的代碼實現(xiàn) 603
8.8　深度卷積對抗網(wǎng)絡(luò) 605
8.8.1　一維轉(zhuǎn)置卷積 606
8.8.2　二維轉(zhuǎn)置卷積 609
8.8.3　卷積對抗網(wǎng)絡(luò)的代碼實現(xiàn) 612
參考文獻(xiàn) 617