深度學(xué)習(xí)實(shí)踐：基于Caffe的解析

前言 

第1章　深度學(xué)習(xí)簡介 1 

1.1　深度學(xué)習(xí)的歷史 1 

1.2　深度學(xué)習(xí)工具簡介 4 

1.3　深度學(xué)習(xí)的未來趨勢 12 

第2章　搭建你的Caffe武器庫 13 

2.1　硬件選型 13 

2.2　Caffe在Windows下的安裝 14 

2.3　Caffe在Linux下的安裝 16 

2.3.1　Linux安裝 16 

2.3.2　Nvidia CUDA Toolkit的安裝（*.deb方法） 17 

2.3.3　Caffe的安裝和測試 20 

2.4　OpenCV的安裝和編譯 23 

2.4.1　OpenCV的下載 23 

2.4.2　配置環(huán)境變量 24 

2.5　Boost庫的安裝和編譯 27 

2.6　Python相關(guān)庫的安裝 31 

2.7　MATLAB接口的配置 33 

2.8　其他庫的安裝 44 

2.8.1　LMDB的編譯與安裝 44 

2.8.2　LevelDB的編譯與安裝 51 

2.8.3　glog的編譯與安裝 57 

2.8.4　安裝gflags 63 

第3章　Caffe的簡單訓(xùn)練 69 

3.1　Caffe轉(zhuǎn)化數(shù)據(jù)工具的使用介紹 69 

3.1.1　命令參數(shù)介紹 69 

3.1.2　生成文件列表 70 

3.1.3　使用的Linux命令簡介 70 

3.1.4　生成文件結(jié)果 71 

3.1.5　圖片參數(shù)組詳解 71 

3.2　Caffe提取特征的工具使用說明 72 

3.3　Caffe訓(xùn)練需要的幾個(gè)部件 73 

3.3.1　網(wǎng)絡(luò)proto文件的編寫 73 

3.3.2　Solver配置 74 

3.3.3　訓(xùn)練腳本的編寫 76 

3.3.4　訓(xùn)練log解析 76 

3.4　Caffe簡單訓(xùn)練分類任務(wù) 79 

3.5　測試訓(xùn)練結(jié)果 86 

3.6　使用訓(xùn)練好的模型進(jìn)行預(yù)測 87 

第4章　認(rèn)識深度學(xué)習(xí)網(wǎng)絡(luò)中的層 97 

4.1　卷積層的作用與類別 97 

4.1.1　卷積層的作用 97 

4.1.2　卷積分類 98 

4.2　激活層的作用與類別 99 

4.2.1　激活函數(shù)的定義及相關(guān)概念 99 

4.2.2　激活函數(shù)的類別 101 

4.3　池化層的作用與類別 101 

4.3.1　池化層的歷史 101 

4.3.2　池化層的作用 102 

4.3.3　池化層分類 103 

4.4　全連接層的作用與類別 105 

4.5　dropout層的作用 106 

4.6　損失函數(shù)層 106 

第5章　Caffe的框架設(shè)計(jì) 110 

5.1　Caffe中CPU和GPU結(jié)構(gòu)的融合 110 

5.1.1　SyncedMemory函數(shù)及其功能 110 

5.1.2　SyncedMemory類的作用 112 

5.2　Caffe訓(xùn)練時(shí)層的各個(gè)成員函數(shù)的調(diào)用順序 112 

5.3　Caffe網(wǎng)絡(luò)構(gòu)建函數(shù)的解析 115 

5.4　Caffe層如何使用proto文件實(shí)現(xiàn)反射機(jī)制 116 

5.4.1　工廠模式 116 

5.4.2　層的創(chuàng)建 118 

5.5　Caffe的調(diào)用流程圖及函數(shù)順序?qū)б?nbsp;122 

5.6　Caffe框架使用的編碼思想 125 

5.6.1　Caffe的總體結(jié)構(gòu) 125 

5.6.2　Caffe數(shù)據(jù)存儲設(shè)計(jì) 128 

第6章　基礎(chǔ)數(shù)學(xué)知識 130 

6.1　卷積層的數(shù)學(xué)公式及求導(dǎo) 130 

6.2　激活層的數(shù)學(xué)公式圖像及求導(dǎo) 132 

6.3　三種池化層的數(shù)學(xué)公式及反向計(jì)算 134 

6.4　全連接層的數(shù)學(xué)公式及求導(dǎo) 135 

6.4.1　全連接層的前向計(jì)算及公式推導(dǎo) 135 

6.4.2　全連接層的反向傳播及公式推導(dǎo) 136 

6.5　反卷積層的數(shù)學(xué)公式及求導(dǎo) 137 

第7章　卷積層和池化層的使用 139 

7.1　卷積層參數(shù)初始化介紹 139 

7.2　池化層的物理意義 141 

7.3　卷積層和池化層輸出計(jì)算及參數(shù)說明 141 

7.4　實(shí)踐：在Caffe框架下用Prototxt定義卷積層和池化層 142 

7.4.1　卷積層參數(shù)的編寫 142 

7.4.2　必須設(shè)置的參數(shù) 143 

7.4.3　其他可選的設(shè)置參數(shù) 143 

7.4.4　卷積參數(shù)編寫具體示例 144 

7.4.5　卷積參數(shù)編寫小建議 145 

第8章　激活函數(shù)的介紹 146 

8.1　用ReLU解決sigmoid的缺陷 146 

8.2　ReLU及其變種的對比 148 

8.3　實(shí)踐：在Caffe框架下用Prototxt定義激活函數(shù) 150 

8.3.1　ReLU 150 

8.3.2　PReLU 150 

8.3.3　Sigmoid 151 

第9章　損失函數(shù) 152 

9.1　contrastive_loss函數(shù)和對應(yīng)層的介紹和使用場景 152 

9.2　multinomial_logistic_loss函數(shù)和對應(yīng)層的介紹和使用說明 154 

9.3　sigmoid_cross_entropy函數(shù)和對應(yīng)層的介紹和使用說明 155 

9.4　softmax_loss函數(shù)和對應(yīng)層的介紹和使用說明 158 

9.5　euclidean_loss函數(shù)和對應(yīng)層的介紹和使用說明 161 

9.6　hinge_loss函數(shù)和對應(yīng)層的介紹和使用說明 162 

9.7　infogain_loss函數(shù)和對應(yīng)層的介紹和使用說明 163 

9.8　TripletLoss的添加及其使用 165 

9.8.1　TripletLoss的思想 165 

9.8.2　TripletLoss梯度推導(dǎo) 166 

9.8.3　新增加TripletLossLayer 167 

9.9　Coupled Cluster Loss的添加及其使用 176 

9.9.1　增加loss層 176 

9.9.2　實(shí)現(xiàn)具體示例 177 

第10章　Batch Normalize層的使用 194 

10.1　batch_normalize層的原理和作用 194 

10.2　batch_normalize層的優(yōu)勢 196 

10.3　常見網(wǎng)絡(luò)結(jié)構(gòu)batch_normalize層的位置 197 

10.4　proto的具體寫法 202 

10.5　其他歸一化層的介紹 204 

第11章　回歸網(wǎng)絡(luò)的構(gòu)建 205 

11.1　如何生成回歸網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù) 205 

11.2　回歸任務(wù)和分類任務(wù)的異同點(diǎn) 206 

11.3　回歸網(wǎng)絡(luò)收斂性的判斷 207 

11.4　回歸任務(wù)與級聯(lián)模型 210 

第12章　多任務(wù)網(wǎng)絡(luò)的構(gòu)建 214 

12.1　多任務(wù)歷史 214 

12.2　多任務(wù)網(wǎng)絡(luò)的數(shù)據(jù)生成 216 

12.3　如何簡單建立多任務(wù) 216 

12.4　近年的多任務(wù)深度學(xué)習(xí)網(wǎng)絡(luò) 217 

12.5　多任務(wù)中通用指導(dǎo)性調(diào)參和網(wǎng)絡(luò)構(gòu)建結(jié)論 221 

12.5.1　如何避免出現(xiàn)多任務(wù)后性能下降的情況 221 

12.5.2　怎樣