機(jī)器學(xué)習(xí)：原理、算法與應(yīng)用

第一部分基本概念與數(shù)學(xué)知識

第1章機(jī)器學(xué)習(xí)簡介3
1.1機(jī)器學(xué)習(xí)是什么3
1.1.1一個(gè)簡單的例子3
1.1.2為什么需要機(jī)器學(xué)習(xí)5
1.2典型應(yīng)用7
1.2.1語音識別7
1.2.2人臉檢測8
1.2.3人機(jī)對弈9
1.2.4機(jī)器翻譯10
1.2.5自動駕駛11
1.3發(fā)展歷程11
1.3.1歷史成就11
1.3.2當(dāng)前進(jìn)展12
1.4關(guān)于本書13
參考文獻(xiàn)13

第2章數(shù)學(xué)知識15
2.1微積分和線性代數(shù)15
2.1.1導(dǎo)數(shù)15
2.1.2向量與矩陣17
2.1.3偏導(dǎo)數(shù)與梯度19
2.1.4雅可比矩陣20
2.1.5Hessian矩陣21
2.1.6泰勒展開22
2.1.7行列式22
2.1.8特征值與特征向量23
2.1.9奇異值分解24
2.1.10二次型24
2.1.11向量與矩陣求導(dǎo)24
2.2最優(yōu)化方法25


〖1〗
〖2〗機(jī)器學(xué)習(xí)——原理、算法與應(yīng)用

〖1〗
目錄
2.2.1梯度下降法25
2.2.2牛頓法26
2.2.3坐標(biāo)下降法27
2.2.4拉格朗日乘數(shù)法28
2.2.5凸優(yōu)化28
2.2.6拉格朗日對偶32
2.2.7KKT條件34
2.2.8擬牛頓法35
2.2.9面臨的問題36
2.3概率論37
2.3.1隨機(jī)事件與概率37
2.3.2條件概率37
2.3.3隨機(jī)變量38
2.3.4數(shù)學(xué)期望與方差39
2.3.5隨機(jī)向量39
2.3.6最大似然估計(jì)40
參考文獻(xiàn)41

第3章基本概念42
3.1算法分類42
3.1.1監(jiān)督信號42
3.1.2分類問題與回歸問題43
3.1.3判別模型與生成模型45
3.1.4強(qiáng)化學(xué)習(xí)45
3.2模型評價(jià)指標(biāo)46
3.2.1精度與召回率46
3.2.2ROC曲線46
3.2.3混淆矩陣48
3.2.4交叉驗(yàn)證48
3.3模型選擇48
3.3.1過擬合與欠擬合48
3.3.2偏差與方差分解49
3.3.3正則化50
參考文獻(xiàn)52

第二部分主要的機(jī)器學(xué)習(xí)算法與理論


第4章貝葉斯分類器55
4.1貝葉斯決策55
4.2樸素貝葉斯分類器56
4.2.1離散型特征56
4.2.2連續(xù)型特征57
4.3正態(tài)貝葉斯分類器57
4.3.1訓(xùn)練算法57
4.3.2預(yù)測算法58
4.4實(shí)驗(yàn)程序59
4.5應(yīng)用61
參考文獻(xiàn)61

第5章決策樹62
5.1樹形決策過程62
5.2分類與回歸樹63
5.3訓(xùn)練算法64
5.3.1遞歸分裂過程64
5.3.2尋找最佳分裂64
5.3.3葉子節(jié)點(diǎn)值的設(shè)定67
5.3.4屬性缺失問題67
5.3.5剪枝算法68
5.3.6訓(xùn)練算法的流程69
5.3.7計(jì)算變量的重要性70
5.4實(shí)驗(yàn)程序70
5.5應(yīng)用71
參考文獻(xiàn)71

第6章k近鄰算法72
6.1基本概念72
6.2預(yù)測算法72
6.3距離定義73
6.3.1常用距離定義74
6.3.2距離度量學(xué)習(xí)74
6.4實(shí)驗(yàn)程序75
6.5應(yīng)用76
參考文獻(xiàn)76

第7章數(shù)據(jù)降維78
7.1主成分分析78
7.1.1數(shù)據(jù)降維問題78
7.1.2計(jì)算投影矩陣78
7.1.3向量降維81
7.1.4向量重構(gòu)81
7.2流形學(xué)習(xí)81
7.2.1局部線性嵌入82
7.2.2拉普拉斯特征映射83
7.2.3局部保持投影86
7.2.4等距映射87
7.2.5隨機(jī)近鄰嵌入88
7.2.6t分布隨機(jī)近鄰嵌入89
7.3實(shí)驗(yàn)程序90
7.4應(yīng)用91
參考文獻(xiàn)91

第8章線性判別分析92
8.1用投影進(jìn)行分類92
8.2投影矩陣92
8.2.1一維的情況92
8.2.2推廣到高維94
8.3實(shí)驗(yàn)程序96
8.4應(yīng)用96
參考文獻(xiàn)97

第9章人工神經(jīng)網(wǎng)絡(luò)98
9.1多層前饋型神經(jīng)網(wǎng)絡(luò)98
9.1.1神經(jīng)元98
9.1.2網(wǎng)絡(luò)結(jié)構(gòu)99
9.1.3正向傳播算法100
9.2反向傳播算法101
9.2.1一個(gè)簡單的例子101
9.2.2完整的算法105
9.3實(shí)驗(yàn)程序109
9.4理論解釋110
9.4.1數(shù)學(xué)性質(zhì)110
9.4.2與神經(jīng)系統(tǒng)的關(guān)系111
9.5面臨的問題111
9.5.1梯度消失111
9.5.2退化111
9.5.3局部極小值111
9.5.4鞍點(diǎn)111
9.6實(shí)現(xiàn)細(xì)節(jié)問題112
9.6.1輸入值與輸出值112
9.6.2網(wǎng)絡(luò)規(guī)模112
9.6.3激活函數(shù)112
9.6.4損失函數(shù)113
9.6.5權(quán)重初始化113
9.6.6正則化113
9.6.7學(xué)習(xí)率的設(shè)定114
9.6.8動量項(xiàng)114
9.7應(yīng)用114
參考文獻(xiàn)115

第10章支持向量機(jī)118
10.1線性分類器118
10.1.1線性分類器概述118
10.1.2分類間隔118
10.2線性可分的問題119
10.2.1原問題119
10.2.2對偶問題120
10.3線性不可分的問題123
10.3.1原問題123
10.3.2對偶問題123
10.4核映射與核函數(shù)126
10.5SMO算法129
10.5.1求解子問題129
10.5.2優(yōu)化變量的選擇132
10.6多分類問題133
10.7實(shí)驗(yàn)程序134
10.8libsvm簡介136
10.8.1求解算法137
10.8.2庫的使用140
10.9應(yīng)用142
參考文獻(xiàn)143

第11章線性模型145
11.1logistic回歸145
11.1.1第一種表述145
11.1.2第二種表述147
11.1.3L2正則化原問題148
11.1.4L2正則化對偶問題151
11.1.5L1正則化原問題152
11.1.6實(shí)驗(yàn)程序154
11.2線性支持向量機(jī)156
11.2.1L2正則化L1loss SVC原問題156
11.2.2L2正則化L2loss SVC原問題156
11.2.3L2正則化SVC對偶問題157
11.2.4L1正則化L2loss SVC原問題158
11.2.5多類線性支持向量機(jī)158
11.2.6實(shí)驗(yàn)程序160
11.3liblinear簡介160
11.3.1求解的問題161
11.3.2庫的使用161
11.4softmax回歸162
11.5應(yīng)用164
參考文獻(xiàn)165

第12章隨機(jī)森林166
12.1集成學(xué)習(xí)166
12.1.1隨機(jī)抽樣166
12.1.2Bagging算法167
12.2隨機(jī)森林概述167
12.3訓(xùn)練算法167
12.4變量的重要性168
12.5實(shí)驗(yàn)程序169
12.6應(yīng)用169
參考文獻(xiàn)169

第13章Boosting算法171
13.1AdaBoost算法171
13.1.1強(qiáng)分類器與弱分類器171
13.1.2訓(xùn)練算法172
13.1.3訓(xùn)練誤差分析174
13.2廣義加法模型176
13.3各種AdaBoost算法177
13.3.1離散型AdaBoost177
13.3.2實(shí)數(shù)型AdaBoost179
13.3.3LogitBoost180
13.3.4Gentle型AdaBoost181
13.4實(shí)現(xiàn)細(xì)節(jié)問題182
13.4.1弱分類器182
13.4.2弱分類器的數(shù)量182
13.4.3樣本權(quán)重削減183
13.5實(shí)驗(yàn)程序183
13.6梯度提升算法183
13.6.1梯度提升框架184
13.6.2回歸問題185
13.6.3分類問題185
13.6.4XGBoost187
13.7應(yīng)用——目標(biāo)檢測189
13.7.1VJ框架的原理190
13.7.2模型訓(xùn)練192
參考文獻(xiàn)193

第14章深度學(xué)習(xí)概論195
14.1機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)195
14.1.1人工特征196
14.1.2機(jī)器學(xué)習(xí)算法197
14.2深度學(xué)習(xí)技術(shù)197
14.3進(jìn)展與典型應(yīng)用199
14.3.1計(jì)算機(jī)視覺200
14.3.2語音識別202
14.3.3自然語言處理202
14.3.4計(jì)算機(jī)圖形學(xué)203
14.3.5推薦系統(tǒng)203
14.3.6深度強(qiáng)化學(xué)習(xí)204
14.4自動編碼器204
14.4.1自動編碼器簡介204
14.4.2去噪自動編碼器205
14.4.3稀疏自動編碼器205
14.4.4收縮自動編碼器206
14.4.5多層編碼器206
14.5受限玻爾茲曼機(jī)206
14.5.1玻爾茲曼分布206
14.5.2受限玻爾茲曼機(jī)結(jié)構(gòu)207
14.5.3訓(xùn)練算法209
14.5.4深度玻爾茲曼機(jī)210
14.5.5深度置信網(wǎng)210
參考文獻(xiàn)210

第15章卷積神經(jīng)網(wǎng)絡(luò)218
15.1網(wǎng)絡(luò)結(jié)構(gòu)218
15.1.1卷積層219
15.1.2池化層222
15.1.3全連接層222
15.2訓(xùn)練算法223
15.2.1卷積層223
15.2.2池化層226
15.2.3隨機(jī)梯度下降法227
15.2.4遷移學(xué)習(xí)228
15.3典型網(wǎng)絡(luò)228
15.3.1LeNet5網(wǎng)絡(luò)228
15.3.2AlexNet網(wǎng)絡(luò)229
15.3.3VGG網(wǎng)絡(luò)230
15.3.4GoogLeNet網(wǎng)絡(luò)231
15.4理論分析232
15.4.1反卷積運(yùn)算232
15.4.2卷積層可視化233
15.4.3理論解釋235
15.5挑戰(zhàn)與改進(jìn)措施236
15.5.1卷積層236
15.5.2池化層236
15.5.3激活函數(shù)237
15.5.4損失函數(shù)237
15.5.5網(wǎng)絡(luò)結(jié)構(gòu)237
15.5.6批量歸一化241
15.6實(shí)現(xiàn)細(xì)節(jié)242
15.6.1卷積層242
15.6.2激活函數(shù)244
15.6.3內(nèi)積層244
15.6.4損失層245
15.6.5求解器248
15.7應(yīng)用——計(jì)算機(jī)視覺251
15.7.1人臉檢測251
15.7.2通用目標(biāo)檢測254
15.7.3人臉關(guān)鍵點(diǎn)定位262
15.7.4人臉識別263
15.7.5圖像分割265
參考文獻(xiàn)266

第16章循環(huán)神經(jīng)網(wǎng)絡(luò)270
16.1網(wǎng)絡(luò)結(jié)構(gòu)270
16.1.1循環(huán)層270
16.1.2輸出層271
16.1.3一個(gè)簡單的例子272
16.1.4深層網(wǎng)絡(luò)272
16.2網(wǎng)絡(luò)的訓(xùn)練273
16.2.1一個(gè)簡單的例子273
16.2.2完整的算法275
16.3挑戰(zhàn)與改進(jìn)措施277
16.3.1梯度消失277
16.3.2長短期記憶模型278
16.3.3門控循環(huán)單元279
16.3.4雙向網(wǎng)絡(luò)279
16.4序列預(yù)測問題280
16.4.1序列標(biāo)注問題280
16.4.2連接主義時(shí)序分類281
16.4.3序列到序列學(xué)習(xí)285
16.5應(yīng)用——語音識別287
16.5.1語音識別問題287
16.5.2GMMHMM框架288
16.5.3深度模型288
16.6應(yīng)用——自然語言處理291
16.6.1中文分詞292
16.6.2詞性標(biāo)注293
16.6.3命名實(shí)體識別293
16.6.4文本分類294
16.6.5自動摘要296
16.6.6機(jī)器翻譯296
參考文獻(xiàn)298

第17章生成對抗網(wǎng)絡(luò)302
17.1隨機(jī)數(shù)據(jù)生成302
17.2生成對抗網(wǎng)絡(luò)結(jié)構(gòu)303
17.2.1生成模型303
17.2.2判別模型304
17.3模型的訓(xùn)練304
17.3.1目標(biāo)函數(shù)304
17.3.2訓(xùn)練算法305
17.3.3理論分析306
17.4應(yīng)用與改進(jìn)307
17.4.1改進(jìn)方案308
17.4.2典型應(yīng)用311
參考文獻(xiàn)313

第18章聚類算法314
18.1問題定義314
18.2層次聚類315
18.3基于質(zhì)心的算法315
18.4基于概率分布的算法316
18.4.1高斯混合模型316
18.4.2EM算法317
18.5基于密度的算法322
18.5.1DBSCAN算法322
18.5.2OPTICS算法324
18.5.3Mean Shift算法326
18.6基于圖的算法328
18.7算法評價(jià)指標(biāo)331
18.7.1內(nèi)部指標(biāo)331
18.7.2外部指標(biāo)331
18.8實(shí)驗(yàn)程序332
18.9應(yīng)用332
參考文獻(xiàn)332

第19章半監(jiān)督學(xué)習(xí)334
19.1問題假設(shè)334
19.1.1連續(xù)性假設(shè)334
19.1.2聚類假設(shè)334
19.1.3流形假設(shè)334
19.1.4低密度分割假設(shè)334
19.2啟發(fā)式算法335
19.2.1自訓(xùn)練335
19.2.2協(xié)同訓(xùn)練335
19.3生成模型335
19.4低密度分割336
19.5基于圖的算法336
19.6半監(jiān)督深度學(xué)習(xí)337
參考文獻(xiàn)338

第20章隱馬爾可夫模型340
20.1馬爾可夫模型340
20.2隱馬爾可夫模型簡介343
20.2.1模型結(jié)構(gòu)343
20.2.2中文分詞345
20.3估值問題345
20.4解碼問題347
20.5訓(xùn)練算法349
20.6應(yīng)用352
參考文獻(xiàn)352

第21章條件隨機(jī)場353
21.1馬爾可夫隨機(jī)場353
21.1.1概率圖模型353
21.1.2馬爾可夫隨機(jī)場354
21.2條件隨機(jī)場概述355
21.2.1條件隨機(jī)場簡介355
21.2.2線性鏈條件隨機(jī)場355
21.3推斷算法357
21.4訓(xùn)練算法359
21.5應(yīng)用360
參考文獻(xiàn)360

第22章強(qiáng)化學(xué)習(xí)361
22.1強(qiáng)化學(xué)習(xí)簡介361
22.1.1問題定義361
22.1.2馬爾可夫決策過程362
22.2基于動態(tài)規(guī)劃的算法366
22.2.1策略迭代算法366
22.2.2價(jià)值迭代算法368
22.3蒙特卡洛算法369
22.3.1算法簡介369
22.3.2狀態(tài)價(jià)值函數(shù)估計(jì)370
22.3.3動作價(jià)值函數(shù)估計(jì)371
22.3.4蒙特卡洛控制371
22.4時(shí)序差分學(xué)習(xí)372
22.4.1Sarsa算法372
22.4.2Q學(xué)習(xí)373
22.5深度強(qiáng)化學(xué)習(xí)374
22.5.1深度Q網(wǎng)絡(luò)375
22.5.2策略梯度算法378
22.6應(yīng)用381
參考文獻(xiàn)381

第三部分工程實(shí)踐問題

第23章工程實(shí)踐問題概述385
23.1實(shí)現(xiàn)細(xì)節(jié)問題385
23.1.1訓(xùn)練樣本385
23.1.2特征預(yù)處理386
23.1.3模型選擇386
23.1.4過擬合問題386
23.2安全性問題387
23.2.1對抗樣本387
23.2.2形成原因分析389
23.3實(shí)現(xiàn)成本問題390
23.3.1訓(xùn)練樣本量390
23.3.2計(jì)算與存儲成本390
23.4深度模型優(yōu)化391
23.4.1剪枝與編碼391
23.4.2二值化網(wǎng)絡(luò)392
23.4.3卷積核分離396
參考文獻(xiàn)397