深度學習基礎與實踐

版權聲明 iii
O'Reilly　Media， Inc．介紹 iv
前言　xv
第　1 章 機器學習回顧　1
1．1　學習的機器　1
1．1．1　機器如何學習　2
1．1．2　生物學的啟發(fā)　4
1．1．3　什么是深度學習　5
1．1．4　鉆進奇幻的兔子洞　5
1．2　提出問題　6
1．3　機器學習背后的數(shù)學：線性代數(shù)　7
1．3．1　標量　7
1．3．2　向量　7
1．3．3　矩陣　8
1．3．4　張量　8
1．3．5　超平面　8
1．3．6　相關數(shù)學運算　8
1．3．7　將數(shù)據(jù)轉(zhuǎn)換成向量　9
1．3．8　方程組求解　10
1．4　機器學習背后的數(shù)學：統(tǒng)計學　12
1．4．1　概率　12
1．4．2　條件概率　14
1．4．3　后驗概率　14
1．4．4　分布　15
1．4．5　樣本與總體　16
1．4．6　重采樣方法　16
1．4．7　選擇性偏差　17
1．4．8　似然　17
1．5　機器學習如何工作　17
1．5．1　回歸　17
1．5．2　分類　19
1．5．3　聚類　19
1．5．4　欠擬合與過擬合　20
1．5．5　優(yōu)化　20
1．5．6　凸優(yōu)化　21
1．5．7　梯度下降　22
1．5．8　SGD　24
1．5．9　擬牛頓優(yōu)化方法　24
1．5．10　生成模型與判別模型　25
1．6　邏輯回歸　25
1．6．1　邏輯函數(shù)　26
1．6．2　理解邏輯回歸的輸出　26
1．7　評估模型　27
1．8　建立對機器學習的理解　30
第　2 章 神經(jīng)網(wǎng)絡基礎與深度學習　31
2．1　神經(jīng)網(wǎng)絡　31
2．1．1　生物神經(jīng)元　33
2．1．2　感知器　34
2．1．3　多層前饋網(wǎng)絡　37
2．2　訓練神經(jīng)網(wǎng)絡　42
2．3　激活函數(shù)　49
2．3．1　線性函數(shù)　49
2．3．2　sigmoid函數(shù)　49
2．3．3　tanh函數(shù)　50
2．3．4　hard tanh函數(shù)　51
2．3．5　softmax函數(shù)　51
2．3．6　修正線性函數(shù)　51
2．4　損失函數(shù)　53
2．4．1　損失函數(shù)的符號　53
2．4．2　用于回歸的損失函數(shù)　54
2．4．3　用于分類的損失函數(shù)　56
2．4．4　用于重建的損失函數(shù)　57
2．5　超參數(shù)　58
2．5．1　學習率　58
2．5．2　正則化　59
2．5．3　動量　59
2．5．4　稀疏　59
第　3 章 深度網(wǎng)絡基礎　60
3．1　定義深度學習　60
3．1．1　什么是深度學習　60
3．1．2　本章結(jié)構(gòu)　67
3．2　深度網(wǎng)絡的通用構(gòu)建原則　67
3．2．1　參數(shù)　68
3．2．2　層　68
3．2．3　激活函數(shù)　69
3．2．4　損失函數(shù)　70
3．2．5　優(yōu)化算法　71
3．2．6　超參數(shù)　73
3．2．7　小結(jié)　77
3．3　深度網(wǎng)絡的構(gòu)造塊　77
3．3．1　RBM　78
3．3．2　自動編碼器　82
3．3．3　變分自動編碼器　83
第　4 章 深度網(wǎng)絡的主要架構(gòu)　85
4．1　UPN　85
4．1．1　DBN　86
4．1．2　GAN　88
4．2　CNN　91
4．2．1　生物學啟發(fā)　92
4．2．2　思路　92
4．2．3　CNN架構(gòu)概要　93
4．2．4　輸入層　94
4．2．5　卷積層　95
4．2．6　池化層　101
4．2．7　全連接層　102
4．2．8　CNN的其他應用　102
4．2．9　CNN列表　103
4．2．10　小結(jié)　103
4．3　RNN　103
4．3．1　時間維度建模　104
4．3．2　三維空間輸入　105
4．3．3　為什么不是馬爾可夫模型　107
4．3．4　常見的RNN架構(gòu)　107
4．3．5　LSTM網(wǎng)絡　108
4．3．6　特定領域應用與混合網(wǎng)絡　114
4．4　遞歸神經(jīng)網(wǎng)絡　115
4．4．1　網(wǎng)絡架構(gòu)　115
4．4．2　遞歸神經(jīng)網(wǎng)絡的變體　115
4．4．3　遞歸神經(jīng)網(wǎng)絡的應用　116
4．5　小結(jié)與討論　116
4．5．1　深度學習會使其他算法過時嗎　116
4．5．2　不同的問題有不同的最佳方法　117
4．5．3　什么時候需要深度學習　117
第　5 章 建立深度網(wǎng)絡　118
5．1　將深度網(wǎng)絡與適合的問題匹配　118
5．1．1　列式數(shù)據(jù)與多層感知器　119
5．1．2　圖像與CNN　119
5．1．3　時間序列與RNN　120
5．1．4　使用混合網(wǎng)絡　121
5．2　DL4J工具套件　121
5．2．1　向量化與DataVec　121
5．2．2　運行時與ND4J　121
5．3　DL4J API的基本概念　123
5．3．1　加載與保存模型　123
5．3．2　為模型獲取輸入　124
5．3．3　建立模型架構(gòu)　124
5．3．4　訓練與評估　125
5．4　使用多層感知器網(wǎng)絡對CSV數(shù)據(jù)建?！?26
5．4．1　建立輸入數(shù)據(jù)　128
5．4．2　確定網(wǎng)絡架構(gòu)　128
5．4．3　訓練模型　131
5．4．4　評估模型　131
5．5　利用CNN對手寫圖像建模　132
5．5．1　使用LeNet CNN的Java代碼示例　132
5．5．2　加載及向量化輸入圖像　134
5．5．3　DL4J中用于LeNet的網(wǎng)絡架構(gòu)　135
5．5．4　訓練CNN網(wǎng)絡　138
5．6　基于RNN的序列數(shù)據(jù)建?！?39
5．6．1　通過LSTM生成莎士比亞風格作品　139
5．6．2　基于LSTM的傳感器時間序列分類　146
5．7　利用自動編碼器檢測異?！?52
5．7．1　自動編碼器示例的Java代碼列表　152
5．7．2　設置輸入數(shù)據(jù)　156
5．7．3　自動編碼器的網(wǎng)絡結(jié)構(gòu)與訓練　156
5．7．4　評估模型　157
5．8　使用變分自動編碼器重建MNIST數(shù)字　158
5．8．1　重建MNIST數(shù)字的代碼列表　158
5．8．2　VAE模型的檢驗　161
5．9　深度學習在自然語言處理中的應用　163
5．9．1　使用Word2Vec的學習詞嵌入　163
5．9．2　具有段落向量的句子的分布式表示　168
5．9．3　使用段落向量進行文檔分類　171
第　6 章 深度網(wǎng)絡調(diào)優(yōu)　176
6．1　深度網(wǎng)絡調(diào)優(yōu)的基本概念　176
6．1．1　建立深度網(wǎng)絡的思路　177
6．1．2　構(gòu)建思路的步驟　178
6．2　匹配輸入數(shù)據(jù)與網(wǎng)絡架構(gòu)　178
6．3　模型目標與輸出層的關系　180
6．3．1　回歸模型的輸出層　180
6．3．2　分類模型的輸出層　180
6．4　處理層的數(shù)量、參數(shù)的數(shù)量和存儲器　182
6．4．1　前饋多層神經(jīng)網(wǎng)絡　183
6．4．2　控制層和參數(shù)的數(shù)量　183
6．4．3　估計網(wǎng)絡內(nèi)存需求　185
6．5　權重初始化策略　187
6．6　使用激活函數(shù)　188
6．7　應用損失函數(shù)　190
6．8　理解學習率　191
6．8．1　使用參數(shù)更新比率　192
6．8．2　關于學習率的具體建議　193
6．9　稀疏性對學習的影響　195
6．10　優(yōu)化方法的應用　195
6．11　使用并行化和GPU更快地進行訓練　197
6．11．1　在線學習與并行迭代算法　197
6．11．2　DL4J中的SGD并行　199
6．11．3　GPU　201
6．12　控制迭代和小批量的大小　202
6．13　如何使用正則化　203
6．13．1　使用先驗函數(shù)正則化　204
6．13．2　最大范數(shù)正則化　204
6．13．3　Dropout　205
6．13．4　其他正則化事項　206
6．14　處理類別不平衡　207
6．14．1　類別采樣方法　208
6．14．2　加權損失函數(shù)　208
6．15　處理過擬合　209
6．16　通過調(diào)優(yōu)UI來使用網(wǎng)絡統(tǒng)計信息　210
6．16．1　檢測不佳的權重初始化　212
6．16．2　檢測非混洗數(shù)據(jù)　213
6．16．3　檢測正則化的問題　214
第　7 章 調(diào)優(yōu)特定的深度網(wǎng)絡架構(gòu)　217
7．1　CNN　217
7．1．1　卷積架構(gòu)常見的模式　218
7．1．2　配置卷積層　220
7．1．3　配置池化層　224
7．1．4　遷移學習　225
7．2　RNN　226
7．2．1　網(wǎng)絡輸入數(shù)據(jù)和輸入層　227
7．2．2　輸出層與RnnOutputLayer　228
7．2．3　訓練網(wǎng)絡　228
7．2．4　調(diào)試LSTM的常見問題　230
7．2．5　填充與掩碼　230
7．2．6　掩碼評估與評分　231
7．2．7　循環(huán)網(wǎng)絡架構(gòu)的變體　232
7．3　受限玻爾茲曼機　232
7．3．1　隱藏層神經(jīng)元與可用信息建?！?33
7．3．2　使用不同的單元　234
7．3．3　用RBM正則化　234
7．4　DBN　235
7．4．1　利用動量　235
7．4．2　使用正則化　235
7．4．3　確定隱藏單元的數(shù)量　236
第　8 章 向量化　237
8．1　機器學習中的向量化方法　237
8．1．1　為什么需要將數(shù)據(jù)向量化　238
8．1．2　處理列式原始數(shù)據(jù)屬性的策略　240
8．1．3　特征工程與規(guī)范化技術　241
8．2　使用DataVec進行ETL和向量化　247
8．3　將圖像數(shù)據(jù)向量化　248
8．3．1　DL4J中的圖像數(shù)據(jù)表示　248
8．3．2　使用DataVec將圖像數(shù)據(jù)與向量規(guī)范化　250
8．4　將序列數(shù)據(jù)向量化　251
8．4．1　序列數(shù)據(jù)源的主要變體　251
8．4．2　使用DataVec將序列數(shù)據(jù)向量化　252
8．5　將文本向量化　256
8．5．1　詞袋　257
8．5．2　TF-IDF　258
8．5．3　Word2Vec與VSM的比較　261
8．6　使用圖形　261
第　9 章 在Spark上使用深度學習和DL4J　262
9．1　在Spark和Hadoop上使用DL4J的介紹　262
9．2　配置和調(diào)優(yōu)Spark運行　266
9．2．1　在Mesos上運行Spark　267
9．2．2　在YARN中執(zhí)行Spark　268
9．2．3　Spark調(diào)優(yōu)簡要介紹　269
9．2．4　對在Spark上運行的DL4J作業(yè)調(diào)優(yōu)　273
9．3　為Spark和DL4J建立Maven項目對象模型　274
9．3．1　一個pom．xml文件依賴模板　275
9．3．2　為 CDH 5．x設置POM文件　279
9．3．3　為HDP 2．4創(chuàng)建POM文件　279
9．4　Spark和Hadoop故障排除　280
9．5　DL4J在Spark上的并行執(zhí)行　281
9．6　Spark平臺上的DL4J API最佳實踐　284
9．7　多層感知器的Spark示例　285
9．7．1　建立Spark MLP網(wǎng)絡架構(gòu)　288
9．7．2　分布式訓練與模型評估　289
9．7．3　構(gòu)建和執(zhí)行DL4J Spark作業(yè)　290
9．8　使用Spark和LSTM生成莎士比亞作品　290
9．8．1　建立LSTM網(wǎng)絡架構(gòu)　292
9．8．2　訓練、跟蹤進度及理解結(jié)果　293
9．9　基于park上的CNN進行MNIST建?！?94
9．9．1　配置Spark作業(yè)和加載MNIST數(shù)據(jù)　296
9．9．2　建立LeNet CNN架構(gòu)與訓練　297
附錄A　人工智能是什么　299
附錄B　RL4J與強化學習　307
附錄C　每個人都需要了解的數(shù)字　325
附錄D　神經(jīng)網(wǎng)絡和反向傳播：數(shù)學方法　326
附錄E　使用ND4J API　330
附錄F　使用DataVec　341
附錄G　從源代碼構(gòu)建DL4J　350
附錄H　設置DL4J項目　352
附錄I　為DL4J項目設置GPU　356
附錄J　解決DL4J安裝上的問題　359
關于作者　365
關于封面　365