深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)

第1章 緒論 1
1.1 與深度學(xué)習(xí)有關(guān)的幾個(gè)概念 1
1.1.1 人工智能 2
1.1.2 機(jī)器學(xué)習(xí) 4
1.1.3 表示學(xué)習(xí) 10
1.1.4 機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)的關(guān)系 12
1.1.5 深度學(xué)習(xí)常用的框架 14
1.2 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的發(fā)展歷程 15
1.2.1 神經(jīng)網(wǎng)絡(luò)的誕生 16
1.2.2 神經(jīng)網(wǎng)絡(luò)的復(fù)興 16
1.2.3 深度學(xué)習(xí)的崛起 17
1.3 神經(jīng)網(wǎng)絡(luò)的產(chǎn)生機(jī)理 18
1.3.1 大腦研究的基本情況 19
1.3.2 腦組織的基本組成 20
1.3.3 腦組織的分層結(jié)構(gòu) 22
1.3.4 大腦的基本工作原理 22
1.4 生物神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 25
1.4.1 神經(jīng)元的基本結(jié)構(gòu) 25
1.4.2 神經(jīng)元的基本分類 28
1.4.3 神經(jīng)元的信息傳遞機(jī)理 28
1.4.4 生物神經(jīng)網(wǎng)絡(luò)的構(gòu)成 31
1.5 本書的知識框架體系 32
1.6 本章小結(jié) 33
第2章 人工神經(jīng)網(wǎng)絡(luò)計(jì)算 35
2.1 神經(jīng)網(wǎng)絡(luò)概述 35
2.2 人工神經(jīng)元模型 36
2.2.1 基本神經(jīng)元模型 36
2.2.2 常用激活函數(shù) 38
2.2.3 Softmax輸出分類 42
2.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 43
2.3.1 單層前饋網(wǎng)絡(luò) 44
2.3.2 多層前饋網(wǎng)絡(luò) 45
2.3.3 反饋網(wǎng)絡(luò) 46
2.3.4 圖網(wǎng)絡(luò) 46
2.4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 47
2.4.1 無監(jiān)督學(xué)習(xí)的Hebb算法 48
2.4.2 監(jiān)督學(xué)習(xí)的Delta規(guī)則 49
2.5 神經(jīng)網(wǎng)絡(luò)的損失函數(shù) 50
2.5.1 均方差損失函數(shù) 50
2.5.2 平均絕對誤差損失函數(shù) 50
2.5.3 交叉熵?fù)p失函數(shù) 51
2.6 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 55
2.6.1 極大似然估計(jì) 55
2.6.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則 57
2.6.3 過擬合與欠擬合 57
2.7 梯度下降法 58
2.7.1 一維梯度下降 59
2.7.2 多維梯度下降 60
2.7.3 隨機(jī)梯度下降 61
2.8 網(wǎng)絡(luò)正則化方法 62
2.8.1 L1和L2正則化 62
2.8.2 提前停止 63
2.8.3 權(quán)重衰減 64
2.8.4 丟棄法 64
2.8.5 數(shù)據(jù)增強(qiáng) 69
2.8.6 標(biāo)簽平滑 69
2.9 模型評估方法 70
2.9.1 混淆矩陣 70
2.9.2 準(zhǔn)確率、精確率、召回率 71
2.9.3 ROC/AUC/PR曲線 72
2.10 本章小結(jié) 74
第3章 多層感知器神經(jīng)網(wǎng)絡(luò) 75
3.1 感知器及其發(fā)展過程 75
3.2 感知器學(xué)習(xí)算法 76
3.2.1 離散單輸出感知器學(xué)習(xí)算法 76
3.2.2 離散多輸出感知器學(xué)習(xí)算法 77
3.2.3 多層感知器線性處理問題 79
3.3 多層感知器的算法實(shí)現(xiàn) 82
3.4 反向傳播算法 84
3.4.1 反向傳播多層感知器模型 84
3.4.2 反向傳播算法的原理 85
3.4.3 反向傳播算法的執(zhí)行步驟 89
3.4.4 梯度消失和梯度爆炸問題 91
3.4.5 反向傳播網(wǎng)絡(luò)的數(shù)據(jù)擬合問題 92
3.5 本章小結(jié) 97
第4章 自組織競爭神經(jīng)網(wǎng)絡(luò) 98
4.1 競爭學(xué)習(xí)的概念與原理 98
4.1.1 競爭學(xué)習(xí)規(guī)則 98
4.1.2 競爭學(xué)習(xí)原理 100
4.2 SOFM網(wǎng)絡(luò) 101
4.2.1 SOFM網(wǎng)絡(luò)結(jié)構(gòu) 101
4.2.2 運(yùn)行原理 102
4.2.3 學(xué)習(xí)過程 103
4.2.4 兩階段學(xué)習(xí) 104
4.3 ART網(wǎng)絡(luò) 105
4.3.1 ART網(wǎng)絡(luò)結(jié)構(gòu) 105
4.3.2 網(wǎng)絡(luò)運(yùn)行與訓(xùn)練 107
4.3.3 網(wǎng)絡(luò)運(yùn)行的參數(shù)說明 108
4.4 自組織競爭神經(jīng)網(wǎng)絡(luò)的算法實(shí)現(xiàn) 108
4.5 本章小結(jié) 109
第5章 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò) 111
5.1 徑向基函數(shù)介紹及結(jié)構(gòu) 111
5.2 函數(shù)逼近與內(nèi)插 112
5.2.1 插值問題的定義 112
5.2.2 徑向基函數(shù)的一般形式 112
5.2.3 徑向基函數(shù)的性質(zhì) 113
5.3 正則化理論 114
5.4 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 117
5.4.1 隨機(jī)選取徑向基函數(shù)中心 117
5.4.2 自組織學(xué)習(xí)選取徑向基函數(shù)中心 118
5.4.3 有監(jiān)督學(xué)習(xí)選取徑向基函數(shù)中心 119
5.5 本章小結(jié) 120
第6章 卷積神經(jīng)網(wǎng)絡(luò) 122
6.1 卷積神經(jīng)網(wǎng)絡(luò)的概念及特點(diǎn) 122
6.1.1 卷積的定義 122
6.1.2 卷積的變形 123
6.1.3 卷積與互相關(guān)操作 124
6.1.4 卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 125
6.2 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 126
6.2.1 卷積層 127
6.2.2 匯聚層 131
6.2.3 全連接層 133
6.2.4 輸出層 134
6.3 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí) 134
6.4 卷積神經(jīng)網(wǎng)絡(luò)常用模型 137
6.4.1 LeNet模型 137
6.4.2 AlexNet模型 139
6.4.3 VGGNet模型 140
6.4.4 GoogLeNet模型 141
6.4.5 ResNet模型 146
6.4.6 DenseNet模型 148
6.5 卷積神經(jīng)網(wǎng)絡(luò)的算法實(shí)現(xiàn) 149
6.6 本章小結(jié) 152
第7章 循環(huán)神經(jīng)網(wǎng)絡(luò) 153
7.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的概念 153
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)模型 154
7.3 循環(huán)神經(jīng)網(wǎng)絡(luò)參數(shù)學(xué)習(xí) 156
7.3.1 BPTT算法 156
7.3.2 RTRL算法 157
7.4 網(wǎng)絡(luò)梯度問題改進(jìn) 157
7.5 長短期記憶 158
7.6 門控循環(huán)單元網(wǎng)絡(luò) 161
7.7 深度循環(huán)神經(jīng)網(wǎng)絡(luò) 162
7.7.1 堆疊循環(huán)神經(jīng)網(wǎng)絡(luò) 162
7.7.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò) 163
7.8 循環(huán)神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)——手寫體數(shù)字識別問題 164
7.9 本章小結(jié) 168
第8章 注意力機(jī)制與反饋網(wǎng)絡(luò) 169
8.1 注意力機(jī)制網(wǎng)絡(luò) 170
8.1.1 注意力機(jī)制網(wǎng)絡(luò)的概念及分類 170
8.1.2 自注意力模型 174
8.2 離散型Hopfield神經(jīng)網(wǎng)絡(luò) 176
8.2.1 網(wǎng)絡(luò)的結(jié)構(gòu)與工作方式 176
8.2.2 網(wǎng)絡(luò)的能量狀態(tài)分析 178
8.2.3 網(wǎng)絡(luò)吸引子的性質(zhì) 181
8.3 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò) 183
8.3.1 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 183
8.3.2 網(wǎng)絡(luò)的能量與穩(wěn)定性分析 185
8.4 Hopfield神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例 186
8.5 Hopfield神經(jīng)網(wǎng)絡(luò)求解TSP 190
8.6 本章小結(jié) 192
第9章 深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化 193
9.1 參數(shù)初始化 193
9.1.1 固定方差參數(shù)初始化 194
9.1.2 方差縮放參數(shù)初始化 195
9.1.3 正交初始化 197
9.2 數(shù)據(jù)預(yù)處理 198
9.3 逐層歸一化 201
9.3.1 批量歸一化 201
9.3.2 層歸一化 203
9.3.3 權(quán)重歸一化 204
9.3.4 局部響應(yīng)歸一化 205
9.4 超參數(shù)優(yōu)化 205
9.4.1 網(wǎng)格搜索 206
9.4.2 隨機(jī)搜索 206
9.4.3 貝葉斯優(yōu)化 207
9.4.4 動態(tài)資源分配 208
9.4.5 神經(jīng)架構(gòu)搜索 208
9.5 優(yōu)化算法 209
9.5.1 空間變量的非凸優(yōu)化 209
9.5.2 Momentum 210
9.5.3 NAG 211
9.5.4 AdaGrad 211
9.5.5 AdaDelta 212
9.5.6 RMSProp 212
9.5.7 Adam 212
9.6 本章小結(jié) 213
第10章 受限玻爾茲曼機(jī)和深度置信網(wǎng)絡(luò) 214
10.1 概率圖模型 214
10.2 受限玻爾茲曼機(jī)的基本結(jié)構(gòu) 215
10.3 受限玻爾茲曼機(jī)的能量模型和似然函數(shù) 216
10.4 受限玻爾茲曼機(jī)的學(xué)習(xí)任務(wù) 217
10.4.1 最優(yōu)參數(shù)的梯度計(jì)算 217
10.4.2 吉布斯采樣 219
10.4.3 對比散度算法 220
10.5 深度置信網(wǎng)絡(luò) 222
10.5.1 網(wǎng)絡(luò)模型 222
10.5.2 網(wǎng)絡(luò)訓(xùn)練算法 223
10.6 深度置信網(wǎng)絡(luò)的應(yīng)用 225
10.6.1 音頻特征提取 225
10.6.2 多模態(tài)數(shù)據(jù)建模 226
10.7 本章小結(jié) 228
第11章 棧式自編碼器 230
11.1 自編碼器 230
11.2 稀疏自編碼器 233
11.3 棧式自編碼器的原理 234
11.4 降噪自編碼器 234
11.5 自編碼器的圖像還原 236
11.6 自編碼器的機(jī)器翻譯應(yīng)用 238
11.7 本章小結(jié) 239
第12章 生成對抗網(wǎng)絡(luò) 240
12.1 深度生成模型 240
12.1.1 概率密度估計(jì) 241
12.1.2 生成樣本 241
12.2 生成對抗網(wǎng)絡(luò)的基本結(jié)構(gòu) 242
12.3 原始-對偶次梯度方法訓(xùn)練 246
12.4 生成對抗網(wǎng)絡(luò)的應(yīng)用 249
12.4.1 人臉圖像的生成 249
12.4.2 生成對抗網(wǎng)絡(luò)的算法實(shí)現(xiàn) 251
12.5 本章小結(jié) 252
第13章 圖神經(jīng)網(wǎng)絡(luò) 254
13.1 圖網(wǎng)絡(luò)概述 254
13.1.1 圖的定義 254
13.1.2 圖數(shù)據(jù)網(wǎng)絡(luò)的性質(zhì)和特點(diǎn) 256
13.1.3 圖神經(jīng)網(wǎng)絡(luò)的發(fā)展 257
13.2 圖卷積神經(jīng)網(wǎng)絡(luò) 259
13.2.1 譜域圖卷積神經(jīng)網(wǎng)絡(luò) 259
13.2.2 切比雪夫網(wǎng)絡(luò) 262
13.2.3 圖卷積神經(jīng)網(wǎng)絡(luò) 263
13.3 圖循環(huán)神經(jīng)網(wǎng)絡(luò) 265
13.3.1 不動點(diǎn)理論 266
13.3.2 歸納式圖表示學(xué)習(xí) 267
13.3.3 圖注意力網(wǎng)絡(luò) 269
13.4 消息傳遞神經(jīng)網(wǎng)絡(luò) 271
13.5 圖神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用 273
13.5.1 圖分類 273
13.5.2 知識圖譜與注意力模型 274
13.5.3 基于圖神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng) 275
13.5.4 計(jì)算機(jī)視覺 276
13.6 本章小結(jié) 277
第14章 深度強(qiáng)化學(xué)習(xí) 278
14.1 強(qiáng)化學(xué)習(xí)概述 278
14.2 馬爾可夫決策過程 280
14.2.1 價(jià)值函數(shù) 281
14.2.2 動作價(jià)值函數(shù) 281
14.2.3 最優(yōu)價(jià)值函數(shù) 282
14.2.4 策略迭代 282
14.2.5 價(jià)值迭代 283
14.3 Q-Learning算法 285
14.4 Deep Q-Network強(qiáng)化學(xué)習(xí) 288
14.5 蒙特卡羅算法 291
14.6 AlphaGo強(qiáng)化學(xué)習(xí) 292
14.6.1 AlphaGo發(fā)展概述 292
14.6.2 AlphaGo Fan算法的原理 295
14.6.3 AlphaGo Zero算法的原理 300
14.7 強(qiáng)化學(xué)習(xí)的應(yīng)用 304
14.7.1 游戲領(lǐng)域 304
14.7.2 機(jī)器人控制領(lǐng)域 305
14.7.3 自然語言處理領(lǐng)域 305
14.7.4 其他領(lǐng)域 306
14.8 本章小結(jié) 306
第15章 深度學(xué)習(xí)的可解釋性 308
15.1 可解釋性的定義 309
15.2 可解釋性方法 309
15.2.1 模型透明度 309
15.2.2 模型功能 311
15.3 可視化方法分類 312
15.3.1 特征可視化 312
15.3.2 關(guān)系可視化 312
15.3.3 過程可視化 313
15.4 神經(jīng)網(wǎng)絡(luò)特征可視化 313
15.5 本章小結(jié) 317
第16章 多模態(tài)預(yù)訓(xùn)練模型 319
16.1 預(yù)訓(xùn)練 320
16.2 多模態(tài)數(shù)據(jù)的特征表示 321
16.2.1 文本特征 321
16.2.2 圖像特征 329
16.3 Transformer模型 330
16.3.1 模型的基本結(jié)構(gòu) 330
16.3.2 編碼模型 331
16.3.3