深度學(xué)習(xí)快速實(shí)踐：基于TensorFlow和Keras的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化與訓(xùn)練

目　錄
譯者序
原書序
原書前言
第1 章　深度學(xué)習(xí)的構(gòu)建模塊 // 1
1.1　深度神經(jīng)網(wǎng)絡(luò)的架構(gòu) // 1
1.1.1　神經(jīng)元 // 1
1.1.2　 深度學(xué)習(xí)中的代價(jià)函數(shù)和成本函數(shù) // 4
1.1.3　前向傳播過(guò)程 // 5
1.1.4　反向傳播函數(shù) // 5
1.1.5　隨機(jī)和小批量梯度下降 // 6
1.2　深度學(xué)習(xí)的優(yōu)化算法 // 6
1.2.1　采用具有動(dòng)量的梯度下降 // 6
1.2.2　RMSProp 算法 // 7
1.2.3　Adam 優(yōu)化器 // 7
1.3　深度學(xué)習(xí)平臺(tái)架構(gòu) // 7
1.3.1　什么是TensorFlow ？ // 7
1.3.2　什么是Keras ？ // 8
1.3.3　TensorFlow 的熱門替代品 // 8
1.3.4　 TensorFlow 和Keras 對(duì)GPU的要求 // 8
1.3.5　 安裝Nvidia CUDA Toolkit 和cuDNN // 9
1.3.6　安裝Python // 10
1.3.7　安裝TensorFlow 和Keras // 11
1.4　深度學(xué)習(xí)數(shù)據(jù)集的構(gòu)建 // 12
1.4.1　 深度學(xué)習(xí)中的偏差和方差誤差 // 13
1.4.2　train、val 和test 數(shù)據(jù)集 // 13
1.4.3　 深度神經(jīng)網(wǎng)絡(luò)中的偏差和方差管理 // 14
1.4.4　K-Fold 交叉驗(yàn)證 // 14
1.5　小結(jié) // 15
第2 章　 用深度學(xué)習(xí)解決回歸問(wèn)題 // 16
2.1　回歸分析和深度神經(jīng)網(wǎng)絡(luò) // 16
2.1.1　 使用神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸的好處 // 16
2.1.2　 使用神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸時(shí)需要注意的問(wèn)題 // 17
2.2　使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸 // 17
2.2.1　如何規(guī)劃?rùn)C(jī)器學(xué)習(xí)問(wèn)題 // 17
2.2.2　定義示例問(wèn)題 // 17
2.2.3　加載數(shù)據(jù)集 // 18
2.2.4　定義成本函數(shù) // 19
2.3　在Keras 中建立MLP // 19
2.3.1　輸入層的構(gòu)形 // 20
2.3.2　隱藏層的構(gòu)形 // 20
2.3.3　輸出層的構(gòu)形 // 20
2.3.4　神經(jīng)網(wǎng)絡(luò)的架構(gòu) // 20
2.3.5　訓(xùn)練Keras 模型 // 21
2.3.6　評(píng)測(cè)模型的性能 // 22
2.4　在Keras 中建立深度神經(jīng)網(wǎng)絡(luò) // 22
2.4.1　評(píng)測(cè)深度神經(jīng)網(wǎng)絡(luò)的性能 // 24
2.4.2　模型超參數(shù)的調(diào)優(yōu) // 25
2.5　 保存并加載經(jīng)過(guò)訓(xùn)練的Keras模型 // 25
2.6　小結(jié) // 25
第3 章　 用TensorBoard 監(jiān)控網(wǎng)絡(luò)訓(xùn)練 // 27
3.1　TensorBoard 的概述 // 27
3.2　設(shè)置TensorBoard // 27
3.2.1　安裝TensorBoard // 28
3.2.2　 TensorBoard 如何與Keras /TensorFlow 會(huì)話 // 28
3.2.3　運(yùn)行TensorBoard // 28
3.3　將Keras 連接到TensorBoard // 29
3.3.1　Keras 回調(diào)簡(jiǎn)介 // 29
3.3.2　創(chuàng)建TensorBoard 回調(diào)函數(shù) // 29
3.4　使用TensorBoard // 31
3.4.1　網(wǎng)絡(luò)訓(xùn)練的可視化 // 31
3.4.2　網(wǎng)絡(luò)結(jié)構(gòu)的可視化 // 32
3.4.3　網(wǎng)絡(luò)破碎的可視化 // 32
3.5　小結(jié) // 33
第4 章　 用深度學(xué)習(xí)解決二元分類問(wèn)題 // 34
4.1　二元分類和深度神經(jīng)網(wǎng)絡(luò) // 34
4.1.1　深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn) // 34
4.1.2　深度神經(jīng)網(wǎng)絡(luò)的缺點(diǎn) // 35
4.2　案例研究—癲癇發(fā)作識(shí)別 // 35
4.2.1　定義數(shù)據(jù)集 // 35
4.2.2　加載數(shù)據(jù) // 35
4.2.3　模型的輸入和輸出 // 36
4.2.4　成本函數(shù) // 36
4.2.5　性能評(píng)估所采用的度量指標(biāo) // 37
4.3　在Keras 中構(gòu)建二元分類器 // 37
4.3.1　輸入層 // 38
4.3.2　隱藏層 // 38
4.3.3　輸出層 // 39
4.3.4　網(wǎng)絡(luò)層的合并 // 39
4.3.5　訓(xùn)練模型 // 40
4.4　使用Keras 中的檢查點(diǎn)回調(diào)函數(shù) // 40
4.5　 在自定義回調(diào)函數(shù)中測(cè)量ROC AUC // 41
4.6　精度、召回率和f1 積分的測(cè)量 // 42
4.7　小結(jié) // 43
第5 章　 用Keras 解決多元分類問(wèn)題 //44
5.1　多元分類和深度神經(jīng)網(wǎng)絡(luò) // 44
5.1.1　優(yōu)勢(shì) // 44
5.1.2　缺點(diǎn) // 45
5.2　案例研究—手寫數(shù)字的分類 // 45
5.2.1　問(wèn)題定義 // 45
5.2.2　模型的輸入和輸出 // 45
5.2.3　成本函數(shù) // 46
5.2.4　度量 // 46
5.3　在Keras 中構(gòu)建多元分類器 // 47
5.3.1　加載MNIST // 47
5.3.2　輸入層 // 47
5.3.3　隱藏層 // 47
5.3.4　輸出層 // 48
5.3.5　網(wǎng)絡(luò)的總體結(jié)構(gòu) // 49
5.3.6　訓(xùn)練 // 49
5.3.7　 多類模型中scikit-learn 度量指標(biāo)的應(yīng)用 // 50
5.4　通過(guò)Dropout 進(jìn)行方差控制 // 51
5.5　采用正則化進(jìn)行方差控制 // 54
5.6　小結(jié) // 55
第6 章　超參數(shù)的優(yōu)化 // 56
6.1　 網(wǎng)絡(luò)體系結(jié)構(gòu)應(yīng)該被視為超參數(shù)嗎？ // 56
6.1.1　站在巨人的肩膀上 // 56
6.1.2　 添加至過(guò)度擬合，然后進(jìn)行正則化 // 57
6.1.3　實(shí)用建議 // 57
6.2　應(yīng)該優(yōu)化哪些超參數(shù)？ // 57
6.3　超參數(shù)優(yōu)化策略 // 58
6.3.1　常用的策略 // 58
6.3.2　通過(guò)scikit-learn 使用隨機(jī)搜索 // 59
6.3.3　Hyperband // 60
6.4　小結(jié) // 62
第7 章　從頭開(kāi)始訓(xùn)練CNN // 63
7.1　卷積的引入 // 63
7.1.1　卷積層的工作原理 // 64
7.1.2　卷積層的好處 // 65
7.1.3　匯集層 // 66
7.1.4　批量正則化 // 67
7.2　在Keras 中訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò) // 67
7.2.1　輸入 // 67
7.2.2　輸出 // 67
7.2.3　成本函數(shù)和度量指標(biāo) // 67
7.2.4　卷積層 // 68
7.2.5　全相連層 // 68
7.2.6　Keras 中的多GPU 模型 // 69
7.2.7　訓(xùn)練 // 69
7.3　使用數(shù)據(jù)擴(kuò)增 // 70
7.3.1　 Keras 中的圖像數(shù)據(jù)擴(kuò)增器（ImageDataGenerator 類） // 71
7.3.2　具有數(shù)據(jù)擴(kuò)增的訓(xùn)練 // 72
7.4　小結(jié) // 72
第8 章　 使用預(yù)訓(xùn)練CNN 進(jìn)行
遷移學(xué)習(xí) // 73
8.1　遷移學(xué)習(xí)概述 // 73
8.2　何時(shí)使用遷移學(xué)習(xí) // 74
8.2.1　有限的數(shù)據(jù) // 74
8.2.2　公共問(wèn)題域 // 74
8.3　源/ 目標(biāo)量和相似度的影響 // 75
8.3.1　更多的數(shù)據(jù)總是有益的 // 75
8.3.2　源/ 目標(biāo)域的相似度 // 75
8.4　在Keras 中進(jìn)行遷移學(xué)習(xí) // 75
8.4.1　目標(biāo)域概述 // 76
8.4.2　源域概述 // 76
8.4.3　源網(wǎng)絡(luò)體系結(jié)構(gòu) // 76
8.4.4　網(wǎng)絡(luò)體系結(jié)構(gòu)的遷移 // 77
8.4.5　數(shù)據(jù)準(zhǔn)備 // 77
8.4.6　數(shù)據(jù)輸入 // 78
8.4.7　訓(xùn)練（特征提取） // 78
8.4.8　訓(xùn)練（調(diào)優(yōu)） // 80
8.5　小結(jié) // 81
第9 章　從頭開(kāi)始訓(xùn)練RNN // 82
9.1　遞歸神經(jīng)網(wǎng)絡(luò)概述 // 82
9.1.1　如何讓神經(jīng)元進(jìn)行遞歸？ // 83
9.1.2　長(zhǎng)短時(shí)間記憶網(wǎng)絡(luò) // 84
9.1.3　在時(shí)間上的反向傳播 // 86
9.2　重溫時(shí)間序列問(wèn)題 // 86
9.2.1　存量和流量 // 87
9.2.2　ARIMA 和ARIMAX 預(yù)測(cè) // 87
9.3　 使用LSTM 網(wǎng)絡(luò)進(jìn)行時(shí)間序列預(yù)測(cè) // 88
9.3.1　數(shù)據(jù)準(zhǔn)備 // 89
9.3.2　網(wǎng)絡(luò)輸出 // 92
9.3.3　網(wǎng)絡(luò)體系結(jié)構(gòu) // 93
9.3.4　 stateful 與stateless LSTM網(wǎng)絡(luò) // 93
9.3.5　訓(xùn)練 // 93
9.3.6　測(cè)量性能 // 94
9.4　小結(jié) // 96
第10 章　 從頭開(kāi)始訓(xùn)練具有單詞嵌入的LSTM 網(wǎng)絡(luò) // 97
10.1　自然語(yǔ)言處理簡(jiǎn)介 // 97
10.1.1　語(yǔ)義分析 // 98
10.1.2　文檔分類 // 98
10.2　文本的矢量化 // 99
10.2.1　NLP 術(shù)語(yǔ) // 99
10.2.2　Bag of Word 模型 // 99
10.2.3　 詞干化、詞形歸并和停止詞 // 100
10.2.4　計(jì)數(shù)和TF-IDF 矢量化 // 100
10.3　單詞嵌入 // 101
10.3.1　一個(gè)簡(jiǎn)單的例子 // 102
10.3.2　 通過(guò)預(yù)測(cè)進(jìn)行的單詞嵌入學(xué)習(xí) // 102
10.3.3　 通過(guò)計(jì)數(shù)進(jìn)行的單詞嵌入學(xué)習(xí) // 104
10.3.4　從單詞到文檔 // 104
10.4　Keras 嵌入層 // 105
10.5　 用于自然語(yǔ)言處理的1D CNN // 105
10.6　文檔分類的案例研究 // 106
10.6.1　 使用Keras 嵌入層和LSTM網(wǎng)絡(luò)進(jìn)行情感分析 // 106
10.6.2　 使用和不使用GloVe 的文檔分類 // 110
10.7　小結(jié) // 117
第11 章　 訓(xùn)練sequence-tosequence模型 // 118
11.1　sequence-to-sequence 模型 // 118
11.1.1　 sequence-to-sequence 模型的應(yīng)用 // 118
11.1.2　 sequence-to-sequence 模型的體系結(jié)構(gòu) // 119
11.1.3　字符與單詞 // 120
11.1.4　Teacher forcing // 120
11.1.5　Attention // 121
11.1.6　翻譯的度量 // 121
11.2　機(jī)器翻譯 // 121
11.2.1　了解數(shù)據(jù)集 // 122
11.2.2　加載數(shù)據(jù) // 122
11.2.3　one hot 編碼 // 124
11.2.4　訓(xùn)練網(wǎng)絡(luò)體系結(jié)構(gòu) // 125
11.2.5　網(wǎng)絡(luò)體系結(jié)構(gòu)（用于推理） // 126
11.2.6　體系結(jié)構(gòu)的合并 // 127
11.2.7　訓(xùn)練 // 128
11.2.8　推理 // 129
11.3　小結(jié) // 133
第12 章　使用深度強(qiáng)化學(xué)習(xí) // 134
12.1　強(qiáng)化學(xué)習(xí)概述 // 134
12.1.1　Markov 決策過(guò)程 // 135
12.1.2　Q-learning // 136
12.1.3　無(wú)限的狀態(tài)空間 // 136
12.1.4　Deep Q 網(wǎng)絡(luò) // 137
12.1.5　守成與探索 // 138
12.1.6　DeepMind // 138
12.2　Keras 的強(qiáng)化學(xué)習(xí)平臺(tái)架構(gòu) // 139
12.2.1　安裝Keras-RL // 139
12.2.2　安裝OpenAI gym // 139
12.2.3　使用OpenAI gym // 139
12.3　 在Keras 中構(gòu)建一個(gè)強(qiáng)化學(xué)習(xí)智能體 // 140
12.3.1　CartPole // 140
12.3.2　月球著陸器 // 143
12.4　小結(jié) // 145
第13 章　生成對(duì)抗網(wǎng)絡(luò) // 146
13.1　GAN 的概述 // 146
13.2　深度卷積GAN 的體系結(jié)構(gòu) // 147
13.2.1　對(duì)抗訓(xùn)練體系結(jié)構(gòu) // 147
13.2.2　生成器的體系結(jié)構(gòu) // 148
13.2.3　鑒別器的體系結(jié)構(gòu) // 149
13.2.4　堆訓(xùn)練 // 149
13.3　GAN 如何失效 // 151
13.3.1　穩(wěn)定性 // 151
13.3.2　模式塌縮 // 151
13.4　GAN 的安全選擇 // 151
13.5　 使用Keras GAN 進(jìn)行的MNIST圖像生成 // 152
13.5.1　加載數(shù)據(jù)集 // 152
13.5.2　構(gòu)建生成器 // 153
13.5.3　構(gòu)建鑒別器 // 153
13.5.4　堆疊模型的構(gòu)建 // 154
13.5.5　訓(xùn)練循環(huán) // 155
13.5.6　模型評(píng)估 // 157
13.6　 使用Keras GAN 進(jìn)行CIFAR-10圖像的生成 // 160
13.6.1　加載CIFAR-10 // 160
13.6.2　構(gòu)建生成器 // 160
13.6.3　構(gòu)建鑒別器 // 161
13.6.4　訓(xùn)練循環(huán) // 161
13.6.5　模型評(píng)估 // 161
13.7　小結(jié) // 162