深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)從入門(mén)到精通

CONTENTS
目　　錄
前言
第1章　概述 1
1.1　深度學(xué)習(xí)的起源和發(fā)展 1
1.2　卷積神經(jīng)網(wǎng)絡(luò)的形成和演變 4
1.3　卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用和影響 6
1.4　卷積神經(jīng)網(wǎng)絡(luò)的缺陷和視圖 9
1.5 卷積神經(jīng)網(wǎng)絡(luò)的GPU實(shí)現(xiàn)和cuDNN庫(kù) 10
1.6　卷積神經(jīng)網(wǎng)絡(luò)的平臺(tái)和工具 10
1.7　本書(shū)的內(nèi)容結(jié)構(gòu)和案例數(shù)據(jù) 13
1.7.1　內(nèi)容結(jié)構(gòu) 13
1.7.2　案例數(shù)據(jù) 15
第2章　預(yù)備知識(shí) 22
2.1　激活函數(shù) 22
2.2　矩陣運(yùn)算 23
2.3　導(dǎo)數(shù)公式 24
2.4　梯度下降算法 25
2.5　反向傳播算法 26
2.5.1　通用反向傳播算法 27
2.5.2　逐層反向傳播算法 28
2.6　通用逼近定理 31
2.7　內(nèi)外卷積運(yùn)算 31
2.8　膨脹卷積運(yùn)算 32
2.9　上下采樣運(yùn)算 33
2.10　卷積面計(jì)算 34
2.11　池化面計(jì)算 36
2.12　局部響應(yīng)歸一化 36
2.13　權(quán)值偏置初始化 37
2.14　丟失輸出 37
2.15　丟失連接 38
2.16　隨機(jī)梯度下降算法 39
2.17　塊歸一化 39
2.18　動(dòng)態(tài)規(guī)劃算法 40
第3章 卷積神經(jīng)網(wǎng)絡(luò)的現(xiàn)代雛形——LeNet 41
3.1　LeNet的原始模型 41
3.2　LeNet的標(biāo)準(zhǔn)模型 43
3.3　LeNet的學(xué)習(xí)算法 44
3.4　LeNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 46
3.5　LeNet的手寫(xiě)數(shù)字識(shí)別案例 54
3.6　LeNet的交通標(biāo)志識(shí)別案例 58
3.6.1 交通標(biāo)志數(shù)據(jù)集的格式轉(zhuǎn)換 58
3.6.2　交通標(biāo)志的識(shí)別分類(lèi) 60
3.7　LeNet的交通路網(wǎng)提取案例 63
3.7.1　交通路網(wǎng)的人工標(biāo)注 64
3.7.2　交通路網(wǎng)的圖像塊分類(lèi) 67
3.7.3 交通路網(wǎng)的圖像塊分類(lèi)LeNet 69
3.7.4 交通路網(wǎng)的自動(dòng)提取代碼及說(shuō)明 71
3.7.5 交通路網(wǎng)的自動(dòng)提取程序運(yùn)行結(jié)果 75
第4章 卷積神經(jīng)網(wǎng)絡(luò)的突破模型 78
4.1　AlexNet的模型結(jié)構(gòu) 78
4.2 AlexNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 82
4.3 AlexNet的Caffe大規(guī)模圖像分類(lèi)案例及演示效果 95
4.4 AlexNet的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 97
4.5 AlexNet的TensorFlow大規(guī)模圖像分類(lèi)案例及演示效果 103
4.6　AlexNet的改進(jìn)模型ZFNet 107
第5章 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)變模型 109
5.1　SPPNet的模型結(jié)構(gòu) 109
5.2 SPPNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 112
5.3 SPPNet的大規(guī)模圖像分類(lèi)案例及演示效果 114
第6章 卷積神經(jīng)網(wǎng)絡(luò)的加深模型 118
6.1 結(jié)構(gòu)加深的卷積網(wǎng)絡(luò)VGGNet 118
6.1.1　VGGNet的模型結(jié)構(gòu) 118
6.1.2 VGGNet的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 120
6.1.3 VGGNet的物體圖像分類(lèi)案例 129
6.2 結(jié)構(gòu)更深的卷積網(wǎng)絡(luò)GoogLeNet 130
6.2.1　GoogLeNet的模型結(jié)構(gòu) 130
6.2.2 GoogLeNet的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 136
6.2.3 GoogLeNet的鮮花圖像分類(lèi)案例 149
第7章 卷積神經(jīng)網(wǎng)絡(luò)的跨連模型 154
7.1　快道網(wǎng)絡(luò)HighwayNet 154
7.2　殘差網(wǎng)絡(luò)ResNet 155
7.2.1　ResNet的模型結(jié)構(gòu) 155
7.2.2 ResNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 157
7.2.3 ResNet的大規(guī)模圖像分類(lèi)案例 163
7.3　密連網(wǎng)絡(luò)DenseNet 169
7.3.1　DenseNet的模型結(jié)構(gòu) 169
7.3.2 DenseNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 171
7.3.3 DenseNet的物體圖像分類(lèi)案例 174
7.4　拼接網(wǎng)絡(luò)CatNet 178
7.4.1　CatNet的模型結(jié)構(gòu) 178
7.4.2 CatNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 179
7.4.3 CatNet的人臉圖像性別分類(lèi)案例 183
第8章 卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域模型 190
8.1　區(qū)域卷積網(wǎng)絡(luò)R-CNN 190
8.2 快速區(qū)域卷積網(wǎng)絡(luò)Fast R-CNN 191
8.3 更快區(qū)域卷積網(wǎng)絡(luò)Faster R-CNN 193
8.3.1 Faster R-CNN的模型結(jié)構(gòu) 193
8.3.2 Faster R-CNN的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 196
8.3.3 Faster R-CNN的圖像目標(biāo)檢測(cè)案例及演示效果 216
8.4　你只看一次網(wǎng)絡(luò)YOLO 220
8.4.1　YOLO的模型結(jié)構(gòu) 220
8.4.2 YOLO的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 226
8.4.3 YOLO的圖像目標(biāo)檢測(cè)案例及演示效果 239
8.5　單次檢測(cè)器SSD 242
8.5.1　SSD的模型結(jié)構(gòu) 242
8.5.2 SSD的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 245
8.5.3 SSD的圖像目標(biāo)檢測(cè)案例及演示效果 260
第9章 卷積神經(jīng)網(wǎng)絡(luò)的分割模型 266
9.1　全卷積網(wǎng)絡(luò)FCN 266
9.1.1　FCN的模型結(jié)構(gòu) 266
9.1.2 FCN的Caffe代碼實(shí)現(xiàn)及說(shuō)明 269
9.1.3 FCN的圖像語(yǔ)義和幾何分割案例 272
9.2 金字塔場(chǎng)景分析網(wǎng)絡(luò)PSPNet 277
9.2.1　PSPNet的模型結(jié)構(gòu) 277
9.2.2 PSPNet的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 282
9.2.3 PSPNet的圖像語(yǔ)義分割案例及演示效果 291
9.3 掩膜區(qū)域卷積網(wǎng)絡(luò)Mask R-CNN 294
9.3.1 Mask R-CNN的模型結(jié)構(gòu) 294
9.3.2 Mask R-CNN的Keras和TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 297
9.3.3 Mask R-CNN的圖像實(shí)例分割案例及演示效果 318
第10章 卷積神經(jīng)網(wǎng)絡(luò)的特殊模型 325
10.1　孿生網(wǎng)絡(luò)SiameseNet 325
10.1.1 SiameseNet的模型結(jié)構(gòu) 325
10.1.2 SiameseNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 326
10.1.3 SiameseNet的手寫(xiě)數(shù)字驗(yàn)證案例 328
10.2　擠壓網(wǎng)絡(luò)SqueezeNet 331
10.2.1 SqueezeNet的模型結(jié)構(gòu) 331
10.2.2 SqueezeNet的Caffe代碼實(shí)現(xiàn)及說(shuō)明 334
10.2.3 SqueezeNet大規(guī)模圖像分類(lèi)案例 337
10.3 深層卷積生成對(duì)抗網(wǎng)絡(luò)DCGAN 339
10.3.1 DCGAN的模型結(jié)構(gòu) 339
10.3.2 DCGAN的TensorFlow代碼實(shí)現(xiàn)及說(shuō)明 340
10.3.3 DCGAN的CelebA人臉圖像生成案例 345
10.4　網(wǎng)中網(wǎng)NIN 348
10.4.1　NIN的模型結(jié)構(gòu) 348
10.4.2 NIN的Caffe代碼實(shí)現(xiàn)及說(shuō)明 350
10.4.3 NIN大規(guī)模圖像分類(lèi)案例 353
第11章 卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)化模型 356
11.1　強(qiáng)化學(xué)習(xí)的基本概念 356
11.2 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)算法 358
11.3 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的變種模型 359
11.4 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的Flappy Bird智能體案例 361
11.4.1 笨笨鳥(niǎo)網(wǎng)絡(luò)的開(kāi)發(fā)環(huán)境和工具包 362
11.4.2 笨笨鳥(niǎo)網(wǎng)絡(luò)的代碼實(shí)現(xiàn)及說(shuō)明 363
11.4.3 笨笨鳥(niǎo)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程 367
11.4.4 笨笨鳥(niǎo)網(wǎng)絡(luò)的演示效果 370
第12章 卷積神經(jīng)網(wǎng)絡(luò)的頂尖成就——AlphaGo 371
12.1　人工智能棋類(lèi)程序簡(jiǎn)介 371
12.2　AlphaGo的設(shè)計(jì)原理 373
12.2.1　總體思路 373
12.2.2　訓(xùn)練流程 374
12.2.3　搜索過(guò)程 377
12.3　AlphaGo Zero的新思想 380
12.4 仿效AlphaGo的圍棋程序案例MuGo 383
12.4.1　MuGo的開(kāi)發(fā)環(huán)境 383
12.4.2 MuGo的代碼實(shí)現(xiàn)及說(shuō)明 386
12.4.3 MuGo的學(xué)習(xí)訓(xùn)練過(guò)程 401
12.4.4 MuGo的演示效果 403
附錄A　Caffe在Windows上的?安裝過(guò)程 406
附錄B　Caffe在Linux上的安裝?過(guò)程 409
附錄C　TensorFlow在Windows?上的安裝過(guò)程 412
附錄D　TensorFlow在Linux?上的安裝過(guò)程 414
參考文獻(xiàn) 416