深度學(xué)習(xí)實(shí)戰(zhàn)

目 錄

第1章 深度學(xué)習(xí)的發(fā)展介紹 1

1.1 如何閱讀本書(shū) 3

1.2 深度學(xué)習(xí)沉浮史 3

1.2.1 模擬生物大腦的瘋狂遠(yuǎn)古時(shí)代 4

1.2.2 聯(lián)結(jié)主義近代 5

1.2.3 百花齊放，層次結(jié)構(gòu)主導(dǎo)，模型巨大的當(dāng)代 6

1.3 Python簡(jiǎn)易教程 7

1.3.1 Anaconda搭建 7

1.3.2 IPython Notebook使用 7

1.3.3 Python基本用法 8

1.3.4 NumPy 15

1.3.5 Matplotlib 23

1.4 參考文獻(xiàn) 25

第2章 機(jī)器學(xué)習(xí)快速入門(mén) 27

2.1 學(xué)習(xí)算法 28

2.1.1 學(xué)習(xí)任務(wù) 29

2.1.2 性能度量 30

2.1.3 學(xué)習(xí)經(jīng)驗(yàn) 32

2.2 代價(jià)函數(shù) 33

2.2.1 均方誤差函數(shù) 33

2.2.2 極大似然估計(jì) 34

2.3 梯度下降法 36

2.3.1 批量梯度下降法 38

2.3.2 *梯度下降法 39

2.4 過(guò)擬合與欠擬合 40

2.4.1 沒(méi)免費(fèi)午餐理論 42

2.4.2 正則化 43

2.5 超參數(shù)與驗(yàn)證集 44

2.6 Softmax編碼實(shí)戰(zhàn) 46

2.6.1 編碼說(shuō)明 49

2.6.2 熟練使用CIFAR-10 數(shù)據(jù)集 50

2.6.3 顯式循環(huán)計(jì)算損失函數(shù)及其梯度 53

2.6.4 向量化表達(dá)式計(jì)算損失函數(shù)及其梯度 56

2.6.5 *小批量梯度下降算法訓(xùn)練Softmax分類器 57

2.6.6 使用驗(yàn)證數(shù)據(jù)選擇超參數(shù) 61

2.7 參考代碼 68

2.8 參考文獻(xiàn) 70

第3章 前饋神經(jīng)網(wǎng)絡(luò) 72

3.1 神經(jīng)元 73

3.1.1 Sigmoid神經(jīng)元 74

3.1.2 Tanh神經(jīng)元 75

3.1.3 ReLU神經(jīng)元 76

3.2 前饋神經(jīng)網(wǎng)絡(luò) 80

3.2.1 輸出層單元 80

3.2.2 隱藏層單元 80

3.2.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 81

3.3 BP算法 82

3.4 深度學(xué)習(xí)編碼實(shí)戰(zhàn)上 86

3.4.1 實(shí)現(xiàn)仿射傳播 88

3.4.2 實(shí)現(xiàn)ReLU傳播 91

3.4.3 組合單層神經(jīng)元 93

3.4.4 實(shí)現(xiàn)淺層神經(jīng)網(wǎng)絡(luò) 96

3.4.5 實(shí)現(xiàn)深層全連接網(wǎng)絡(luò) 101

3.5 參考代碼 109

3.6 參考文獻(xiàn) 113

第4章 深度學(xué)習(xí)正則化 115

4.1 參數(shù)范數(shù)懲罰 116

4.1.1 L2參數(shù)正則化 118

4.1.2 L1正則化 119

4.2 參數(shù)綁定與參數(shù)共享 120

4.3 噪聲注入與數(shù)據(jù)擴(kuò)充 120

4.4 稀疏表征 122

4.5 早停 123

4.6 Dropout 126

4.6.1 個(gè)體與集成 126

4.6.2 Dropout 127

4.7 深度學(xué)習(xí)編碼實(shí)戰(zhàn)中 129

4.7.1 Dropout傳播 131

4.7.2 組合Dropout傳播層 134

4.7.3 Dropout神經(jīng)網(wǎng)絡(luò) 136

4.7.4 解耦訓(xùn)練器trainer 138

4.7.5 解耦更新器updater 143

4.7.6 正則化實(shí)驗(yàn) 145

4.8 參考代碼 148

4.9 參考文獻(xiàn) 150

第5章 深度學(xué)習(xí)優(yōu)化 152

5.1 神經(jīng)網(wǎng)絡(luò)優(yōu)化困難 153

5.1.1 局部* 153

5.1.2 鞍點(diǎn) 154

5.1.3 梯度懸崖 154

5.1.4 梯度消失或梯度爆炸 155

5.1.5 梯度不精確 156

5.1.6 優(yōu)化理論的局限性 156

5.2 *梯度下降 156

5.3 動(dòng)量學(xué)習(xí)法 158

5.4 AdaGrad和RMSProp 159

5.5 Adam 160

5.6 參數(shù)初始化策略 161

5.7 批量歸一化 163

5.7.1 BN算法詳解 163

5.7.2 BN傳播詳解 165

5.8 深度學(xué)習(xí)編碼實(shí)戰(zhàn)下 166

5.8.1 Momentum 167

5.8.2 RMSProp 171

5.8.3 Adam 172

5.8.4 更新規(guī)則比較 174

5.8.5 BN前向傳播 176

5.8.6 BN反向傳播 180

5.8.7 使用BN的全連接網(wǎng)絡(luò) 182

5.8.8 BN算法與權(quán)重標(biāo)準(zhǔn)差比較 188

5.9 參考代碼 191

5.10 參考文獻(xiàn) 195

第6章 卷積神經(jīng)網(wǎng)絡(luò) 196

6.1 卷積操作 197

6.2 卷積的意義 198

6.2.1 稀疏連接 199

6.2.2 參數(shù)共享 200

6.3 池化操作 201

6.4 設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò) 204

6.4.1 跨步卷積 204

6.4.2 零填充 205

6.4.3 非共享卷積 206

6.4.4 平鋪卷積 207

6.5 卷積網(wǎng)絡(luò)編碼練習(xí) 208

6.5.1 卷積前向傳播 209

6.5.2 卷積反向傳播 212

6.5.3 *池化前向傳播 215

6.5.4 *池化反向傳播 218

6.5.5 向量化執(zhí)行 220

6.5.6 組合完整卷積層 223

6.5.7 淺層卷積網(wǎng)絡(luò) 224

6.5.8 空間批量歸一化 229

6.6 參考代碼 233

6.7 參考文獻(xiàn) 237

第7章 循環(huán)神經(jīng)網(wǎng)絡(luò) 238

7.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 239

7.1.1 循環(huán)神經(jīng)元展開(kāi) 239

7.1.2 循環(huán)網(wǎng)絡(luò)訓(xùn)練 240

7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì) 242

7.2.1 雙向循環(huán)網(wǎng)絡(luò)結(jié)構(gòu) 242

7.2.2 編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu) 243

7.2.3 深度循環(huán)網(wǎng)絡(luò)結(jié)構(gòu) 244

7.3 門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò) 245

7.3.1 LSTM 246

7.3.2 門(mén)控循環(huán)單元 249

7.4 RNN編程練習(xí) 250

7.4.1 RNN單步傳播 252

7.4.2 RNN時(shí)序傳播 255

7.4.3 詞嵌入 258

7.4.4 RNN輸出層 261

7.4.5 時(shí)序Softmax損失 262

7.4.6 RNN圖片說(shuō)明任務(wù) 264

7.5 LSTM編程練習(xí) 269

7.5.1 LSTM單步傳播 269

7.5.2 LSTM時(shí)序傳播 273

7.5.3 LSTM實(shí)現(xiàn)圖片說(shuō)明任務(wù) 276

7.6 參考代碼 278

7.6.1 RNN參考代碼 278

7.6.2 LSTM參考代碼 282

7.7 參考文獻(xiàn) 285

第8章 TensorFlow快速入門(mén) 287

8.1 TensorFlow介紹 288

8.2 TensorFlow 1.0安裝指南 289

8.2.1 雙版本切換Anaconda 289

8.2.2 安裝CUDA 8.0 291

8.2.3 安裝cuDNN 292

8.2.4 安裝TensorFlow 293

8.2.5 驗(yàn)證安裝 294

8.3 TensorFlow基礎(chǔ) 295

8.3.1 Tensor 295

8.3.2 TensorFlow核心API教程 296

8.3.3 tf.train API 299

8.3.4 tf.contrib.learn 301

8.4 TensorFlow構(gòu)造CNN 305

8.4.1 構(gòu)建Softmax模型 305

8.4.2 使用TensorFlow訓(xùn)練模型 307

8.4.3 使用TensorFlow評(píng)估模型 308

8.4.4 使用TensorFlow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò) 308

8.5 TensorBoard快速入門(mén) 311

8.5.1 TensorBoard可視化學(xué)習(xí) 312

8.5.2 計(jì)算圖可視化 316