深度學(xué)習(xí)架構(gòu)與實(shí)踐

目錄
前言
緒論1
第1章 深度學(xué)習(xí)的架構(gòu)8
11如何區(qū)分人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)8
111人工智能：從概念提出到走向繁榮8
112機(jī)器學(xué)習(xí)：一種實(shí)現(xiàn)人工智能的方法9
113深度學(xué)習(xí)：一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)9
114人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系9
12深度學(xué)習(xí)的發(fā)展歷史及研究現(xiàn)狀10
121深度學(xué)習(xí)的發(fā)展歷史10
122深度學(xué)習(xí)的研究現(xiàn)狀11
13深度學(xué)習(xí)的基本內(nèi)容及理論基礎(chǔ)13
131深度學(xué)習(xí)的基本內(nèi)容13
132深度學(xué)習(xí)的理論基礎(chǔ)15
14深度學(xué)習(xí)的發(fā)展趨勢(shì)與未來(lái)15
141深度學(xué)習(xí)的發(fā)展趨勢(shì)15
142深度學(xué)習(xí)的未來(lái)16
第2章 深度學(xué)習(xí)相關(guān)數(shù)學(xué)基礎(chǔ)17
21線性代數(shù)17
211標(biāo)量、向量、矩陣和張量17
212矩陣和向量相乘18
213單位矩陣和逆矩陣19
214線性相關(guān)和生成子空間19
215范數(shù)21
216特殊類(lèi)型的矩陣和向量22
217特征分解23
218奇異值分解24
219Moore-Penrose偽逆25
2110跡運(yùn)算25
2111行列式26
2112主成分分析26
22概率論與信息論29
221隨機(jī)試驗(yàn)、頻率與概率、隨機(jī)變量29
222隨機(jī)變量的分布情況30
223二維隨機(jī)變量31
224期望、方差、協(xié)方差、相關(guān)系數(shù)33
225常用的概率分布34
226常用函數(shù)的有用性質(zhì)37
227連續(xù)型變量的技術(shù)細(xì)節(jié)39
228信息論40
229結(jié)構(gòu)化概率模型41
23擬合、梯度下降與傳播43
231過(guò)擬合和欠擬合43
232隨機(jī)梯度下降44
233正向傳播與反向傳播47
第3章 神經(jīng)網(wǎng)絡(luò)的架構(gòu)48
31神經(jīng)網(wǎng)絡(luò)與神經(jīng)元48
32深度神經(jīng)網(wǎng)絡(luò)的概念與結(jié)構(gòu)49
321深度神經(jīng)網(wǎng)絡(luò)的概念49
322深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)49
33深度神經(jīng)網(wǎng)絡(luò)的分類(lèi)50
331前饋深度網(wǎng)絡(luò)50
332反饋深度網(wǎng)絡(luò)51
333雙向深度網(wǎng)絡(luò)51
34自動(dòng)編碼器與玻爾茲曼機(jī)51
341自動(dòng)編碼器51
342玻爾茲曼機(jī)52
第4章 卷積神經(jīng)網(wǎng)絡(luò)53
41卷積神經(jīng)網(wǎng)絡(luò)的概念53
42卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)54
421卷積層55
422池化層56
423全連接層56
43非線性層與激活函數(shù)57
431Sigmoid激活函數(shù)57
432Tanh函數(shù)59
433Relu函數(shù)60
44感受野與權(quán)值共享61
441局部感受野61
442權(quán)值共享61
45卷積神經(jīng)網(wǎng)絡(luò)與反卷積神經(jīng)網(wǎng)絡(luò)62
451卷積神經(jīng)網(wǎng)絡(luò)及其特點(diǎn)62
452反卷積神經(jīng)網(wǎng)絡(luò)及其特點(diǎn)63
46卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練63
第5章 循環(huán)神經(jīng)網(wǎng)絡(luò)64
51RNN的概念64
52RNN的結(jié)構(gòu)64
53RNN的訓(xùn)練65
531反向傳播算法的原理65
532反向傳播算法的步驟65
54RNN的實(shí)現(xiàn)71
541梯度爆炸與梯度消失71
542基于RNN的語(yǔ)言模型例子71
543語(yǔ)言模型訓(xùn)練過(guò)程73
55RNN的發(fā)展74
551雙向循環(huán)神經(jīng)網(wǎng)絡(luò)74
552長(zhǎng)短時(shí)記憶結(jié)構(gòu)75
第6章 生成對(duì)抗網(wǎng)絡(luò)7761GAN的概念77
611對(duì)抗思想與GAN77
612最大似然估計(jì)及最優(yōu)化問(wèn)題79
613GAN的訓(xùn)練過(guò)程81
62GAN的原理82
621生成器82
622判別器83
63GAN的應(yīng)用84
64GAN的發(fā)展85
641GAN的優(yōu)缺點(diǎn)85
642GAN的未來(lái)發(fā)展方向86
第7章 Python相關(guān)基礎(chǔ)8771Python程序結(jié)構(gòu)87
711循環(huán)結(jié)構(gòu)87
712分支結(jié)構(gòu)89
72NumPy操作90
721NumPy的主要特點(diǎn)91
722ndarray91
723NumPy-數(shù)據(jù)類(lèi)型94
724NumPy-數(shù)組屬性94
725NumPy-數(shù)組創(chuàng)建例程96
726NumPy-切片和索引98
727NumPy-字符串函數(shù)99
728NumPy-算數(shù)函數(shù)100
729NumPy-算數(shù)運(yùn)算100
7210NumPy-統(tǒng)計(jì)函數(shù)101
7211NumPy-排序、搜索和計(jì)數(shù)函數(shù)102
7212NumPy-字節(jié)交換103
7213NumPy-副本和視圖103
7214NumPy-矩陣庫(kù)104
7215NumPy-線性代數(shù)105
73函數(shù)105
731Python中函數(shù)的應(yīng)用105
732Python函數(shù)的定義107
733Python函數(shù)的調(diào)用108
734為函數(shù)提供說(shuō)明文檔109
74第三方資源110
第8章 TensorFlow、Theano、Caffe的框架與安裝113
81TensorFlow的框架與安裝113
811TensorFlow的簡(jiǎn)介113
812TensorFlow的架構(gòu)113
813TensorFlow的特點(diǎn)114
814TensorFlow的安裝114
82Theano的框架與安裝118
821Theano的簡(jiǎn)介118
822Theano的安裝119
83Caffe的架構(gòu)與安裝121
831Caffe的簡(jiǎn)介121
832Caffe的安裝122
第9章 TensorFlow、Theano、Caffe的原理及應(yīng)用124
91TensorFlow的原理及應(yīng)用124
911TensorFlow的工作原理124
912TensorFlow的簡(jiǎn)單應(yīng)用126
913TensorFlow的復(fù)雜應(yīng)用129
92Theano的基本語(yǔ)法及應(yīng)用145
921Theano的基本語(yǔ)法145
922Theano在Windows下的常用實(shí)例149
923用Theano來(lái)編寫(xiě)一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)154
93Caffe的結(jié)構(gòu)、寫(xiě)法及應(yīng)用157
931Caffe的結(jié)構(gòu)157
932Caffe的寫(xiě)法157
933Caffe的訓(xùn)練與測(cè)試167
第10章 手寫(xiě)數(shù)字識(shí)別實(shí)例177
101字符識(shí)別的意義177
102字符識(shí)別的設(shè)計(jì)與實(shí)現(xiàn)177
1021實(shí)驗(yàn)簡(jiǎn)介177
1022實(shí)驗(yàn)環(huán)境搭建178
103單層神經(jīng)網(wǎng)絡(luò)搭建178
1031網(wǎng)絡(luò)搭建過(guò)程178
1032梯度下降180
104多層神經(jīng)網(wǎng)絡(luò)搭建183
1041Sigmoid激活函數(shù)184
1042Relu激活函數(shù)184
1043衰減學(xué)習(xí)率187
1044添加dropout解決過(guò)擬合現(xiàn)象188
105卷積神經(jīng)網(wǎng)絡(luò)190
第11章 自動(dòng)生成圖像描述實(shí)例195
111自動(dòng)生成圖像描述的目標(biāo)195
112自動(dòng)生成圖像描述的設(shè)計(jì)198
113語(yǔ)言生成模型201
114自動(dòng)生成圖像描述的實(shí)現(xiàn)203
115實(shí)驗(yàn)結(jié)果及分析221
第12章 唇語(yǔ)識(shí)別實(shí)例225
121唇語(yǔ)識(shí)別技術(shù)的目標(biāo)225
122特征提取225
1221CNN的唇部視覺(jué)特征提取225
1222RNN的時(shí)序特征提取226
1223特征分類(lèi)算法SVM、KNN、Softmax228
123唇語(yǔ)識(shí)別模型網(wǎng)絡(luò)架構(gòu)230
1231抽取視頻幀算法與視頻唇部區(qū)域定位230
1232圖像特征提取網(wǎng)絡(luò)架構(gòu)233
1233基于注意力機(jī)制的時(shí)間特征提取架構(gòu)234
1234唇語(yǔ)識(shí)別模型與整體識(shí)別流程235
124實(shí)驗(yàn)結(jié)果及分析239
1241數(shù)據(jù)集與預(yù)處理239
1242實(shí)驗(yàn)結(jié)果239
1243可視化分析242
參考文獻(xiàn)246