圖解深度學(xué)習(xí)：可視化、交互式的人工智能指南

目錄
第Ⅰ部分 深度學(xué)習(xí)簡介 1
第 1章 生物視覺與機(jī)器視覺 2
1.1 生物視覺 2
1.2 機(jī)器視覺 6
1.2.1 神經(jīng)認(rèn)知機(jī) 7
1.2.2 LeNet-5 7
1.2.3 傳統(tǒng)機(jī)器學(xué)習(xí)方法 9
1.2.4 ImageNet和ILSVRC 10
1.2.5 AlexNet 10
1.3 TensorFlow Playground 13
1.4 Quick，Draw！ 14
1.5 小結(jié) 15
第 2章 人機(jī)語言 16
2.1 自然語言處理的深度學(xué)習(xí) 16
2.1.1 深度學(xué)習(xí)網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)表征 16
2.1.2 自然語言處理 17
2.1.3 自然語言處理的深度學(xué)習(xí)簡史 18
2.2 語言的計(jì)算表示 19
2.2.1 獨(dú)熱編碼 19
2.2.2 詞向量 20
2.2.3 詞向量算法 22
2.2.4 word2viz 23
2.2.5 局部化與分布式表示 24
2.3 自然人類語言要素 25
2.4 Google Duplex 27
2.5 小結(jié) 28
第3章 機(jī)器藝術(shù) 29
3.1 一個(gè)熱鬧的通宵 29
目錄 2
3.2 偽人臉?biāo)惴?31
3.3 風(fēng)格遷移：照片與莫奈風(fēng)格間的相互轉(zhuǎn)換 33
3.4 讓你的素描更具真實(shí)感 34
3.5 基于文本創(chuàng)建真實(shí)感圖像 35
3.6 使用深度學(xué)習(xí)進(jìn)行圖像處理 35
3.7 小結(jié) 36
第4章 對(duì)弈機(jī) 38
4.1 人工智能、深度學(xué)習(xí)和其他技術(shù) 38
4.1.1 人工智能 39
4.1.2 機(jī)器學(xué)習(xí) 39
4.1.3 表征學(xué)習(xí) 39
4.1.4 人工神經(jīng)網(wǎng)絡(luò) 39
4.1.5 深度學(xué)習(xí) 40
4.1.6 機(jī)器視覺 40
4.1.7 自然語言處理 41
4.2 機(jī)器學(xué)習(xí)問題的3種類型 41
4.2.1 監(jiān)督學(xué)習(xí) 41
4.2.2 無監(jiān)督學(xué)習(xí) 41
4.2.3 強(qiáng)化學(xué)習(xí) 42
4.3 深度強(qiáng)化學(xué)習(xí) 43
4.4 電子游戲 44
4.5 棋盤游戲 45
4.5.1 AlphaGo 46
4.5.2 AlphaGo Zero 49
4.5.3 AlphaZero 50
4.6 目標(biāo)操縱 52
4.7 主流的深度強(qiáng)化學(xué)習(xí)環(huán)境 53
4.7.1 OpenAI Gym 53
4.7.2 DeepMind Lab 54
4.7.3 Unity ML-Agents 55
4.8 人工智能的3種類型 56
4.8.1 狹義人工智能 56
4.8.2 通用人工智能 56
4.8.3 超級(jí)人工智能 56
4.9 小結(jié) 56
目錄 3
第Ⅱ部分 圖解深度學(xué)習(xí)基本理論 57
第5章 先代碼后理論 58
5.1 預(yù)備知識(shí) 58
5.2 安裝 58
5.3 用Keras構(gòu)建淺層網(wǎng)絡(luò) 59
5.3.1 MNIST手寫數(shù)字 59
5.3.2 淺層網(wǎng)絡(luò)簡圖 60
5.3.3 加載數(shù)據(jù) 61
5.3.4 重新格式化數(shù)據(jù) 63
5.3.5 設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu) 64
5.3.6 訓(xùn)練深度學(xué)習(xí)模型 65
5.4 小結(jié) 66
第6章 熱狗人工神經(jīng)元檢測器 67
6.1 生物神經(jīng)元概述 67
6.2 感知機(jī) 68
6.2.1 熱狗/非熱狗感知機(jī) 68
6.2.2 本書中最重要的公式 71
6.3 現(xiàn)代人工神經(jīng)元與激活函數(shù) 72
6.3.1 sigmoid神經(jīng)元 72
6.3.2 tanh神經(jīng)元 73
6.3.3 ReLU：線性整流單元 74
6.4 選擇神經(jīng)元 74
6.5 小結(jié) 75
6.6 核心概念 75
第7章 人工神經(jīng)網(wǎng)絡(luò) 76
7.1 輸入層 76
7.2 全連接層 76
7.3 熱狗檢測全連接網(wǎng)絡(luò) 77
7.3.1 通過第 一個(gè)隱藏層的正向傳播 78
7.3.2 通過后續(xù)層的正向傳播 79
7.4 快餐分類網(wǎng)絡(luò)的softmax層 81
目錄 4
7.5 淺層網(wǎng)絡(luò)回顧 83
7.6 小結(jié) 84
7.7 核心概念 84
第8章 訓(xùn)練深度網(wǎng)絡(luò) 85
8.1 損失函數(shù) 85
8.1.1 平方損失函數(shù) 85
8.1.2 飽和神經(jīng)元 86
8.1.3 交叉熵?fù)p失函數(shù) 86
8.2 優(yōu)化：學(xué)習(xí)最小化損失 88
8.2.1 梯度下降 88
8.2.2 學(xué)習(xí)率 89
8.2.3 batch size和隨機(jī)梯度下降 90
8.2.4 解決局部極小值問題 92
8.3 反向傳播 94
8.4 調(diào)整隱藏層層數(shù)和神經(jīng)元數(shù)量 94
8.5 用Keras構(gòu)建中等深度的神經(jīng)網(wǎng)絡(luò) 95
8.6 小結(jié) 98
8.7 核心概念 98
第9章 改進(jìn)深度網(wǎng)絡(luò) 99
9.1 權(quán)重初始化 99
9.2 不穩(wěn)定梯度 104
9.2.1 梯度消失 104
9.2.2 梯度爆炸 105
9.2.3 批量歸一化 105
9.3 模型泛化（避免過擬合） 106
9.3.1 L1/L2正則化 107
9.3.2 dropout 108
9.3.3 數(shù)據(jù)增強(qiáng) 110
9.4 理想的優(yōu)化器 110
9.4.1 動(dòng)量 110
9.4.2 Nesterov動(dòng)量 111
9.4.3 AdaGrad 111
9.4.4 AdaDelta和RMSProp 111
目錄 5
9.4.5 Adam 112
9.5 用Keras構(gòu)建深度神經(jīng)網(wǎng)絡(luò) 112
9.6 回歸 114
9.7 TensorBoard 116
9.8 小結(jié) 118
9.9 核心概念 118
第Ⅲ部分 深度學(xué)習(xí)的交互應(yīng)用 119
第 10章 機(jī)器視覺 120
10.1 卷積神經(jīng)網(wǎng)絡(luò) 120
10.1.1 視覺圖像的二維結(jié)構(gòu) 120
10.1.2 計(jì)算復(fù)雜度 120
10.1.3 卷積層 121
10.1.4 多個(gè)卷積核 122
10.1.5 卷積示例 123
10.1.6 卷積核的超參數(shù) 126
10.2 池化層 127
10.3 用Keras實(shí)現(xiàn)LeNet-5 129
10.4 用Keras實(shí)現(xiàn)AlexNet和VGGNet 133
10.5 殘差網(wǎng)絡(luò) 136
10.5.1 梯度消失：深度CNN的最大缺點(diǎn) 136
10.5.2 殘差連接 136
10.5.3 ResNet 138
10.6 機(jī)器視覺的應(yīng)用 139
10.6.1 目標(biāo)檢測 139
10.6.2 圖像分割 142
10.6.3 遷移學(xué)習(xí) 143
10.6.4 膠囊網(wǎng)絡(luò) 147
10.7 小結(jié) 147
10.8 核心概念 147
第 11章 自然語言處理 149
11.1 自然語言數(shù)據(jù)的預(yù)處理 149
11.1.1 分詞 151
目錄 6
11.1.2 將所有字符轉(zhuǎn)換成小寫 153
11.1.3 刪除停頓詞和標(biāo)點(diǎn)符號(hào) 153
11.1.4 詞干提取 154
11.1.5 處理n-grams 155
11.1.6 預(yù)處理整個(gè)語料庫 156
11.2 通過word2vec創(chuàng)建詞嵌入 158
11.2.1 word2vec背后的基本理論 158
11.2.2 詞向量的評(píng)估 160
11.2.3 word2vec的運(yùn)行 160
11.2.4 詞向量的繪制 163
11.3 ROC曲線下的面積 167
11.3.1 混淆矩陣 168
11.3.2 計(jì)算ROC AUC指標(biāo) 169
11.4 通過常見網(wǎng)絡(luò)實(shí)現(xiàn)自然語言分類 171
11.4.1 加載IMDb電影評(píng)論 171
11.4.2 檢查IMDb數(shù)據(jù) 173
11.4.3 標(biāo)準(zhǔn)化評(píng)論長度 176
11.4.4 全連接網(wǎng)絡(luò) 176
11.4.5 卷積網(wǎng)絡(luò) 182
11.5 序列數(shù)據(jù)的網(wǎng)絡(luò)設(shè)計(jì) 186
11.5.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 186
11.5.2 LSTM 189
11.5.3 雙向LSTM 192
11.5.4 堆疊的循環(huán)神經(jīng)網(wǎng)絡(luò) 192
11.5.5 seq2seq模型和注意力機(jī)制 193
11.5.6 自然語言處理中的遷移學(xué)習(xí) 194
11.6 非序列架構(gòu)——Keras函數(shù)式API 195
11.7 小結(jié) 198
11.8 核心概念 199
第 12章 生成對(duì)抗網(wǎng)絡(luò) 200
12.1 生成對(duì)抗網(wǎng)絡(luò)的基本理論 200
12.2 “Quick，Draw！”數(shù)據(jù)集 202
12.3 判別器網(wǎng)絡(luò) 205
12.4 生成器網(wǎng)絡(luò) 208
目錄 7
12.5 對(duì)抗網(wǎng)絡(luò) 211
12.6 訓(xùn)練生成對(duì)抗網(wǎng)絡(luò) 212
12.7 小結(jié) 218
12.8 核心概念 219
第 13章 深度強(qiáng)化學(xué)習(xí) 220
13.1 強(qiáng)化學(xué)習(xí)的基本理論 220
13.1.1 Cart-Pole 游戲 221
13.1.2 馬爾可夫決策過程 222
13.1.3 最優(yōu)策略 224
13.2 深度Q-Learning網(wǎng)絡(luò)的基本理論 225
13.2.1 值函數(shù) 226
13.2.2 Q值函數(shù) 226
13.2.3 估計(jì)最優(yōu)Q值 226
13.3 定義DQN智能體 227
13.3.1 初始化參數(shù) 229
13.3.2 構(gòu)建智能體的神經(jīng)網(wǎng)絡(luò)模型 231
13.3.3 記憶游戲 232
13.3.4 記憶回放訓(xùn)練 232
13.3.5 選擇要采取的行動(dòng) 233
13.3.6 保存和加載模型參數(shù) 234
13.4 與OpenAI Gym環(huán)境交互 234
13.5 通過SLM Lab進(jìn)行超參數(shù)優(yōu)化 236
13.6 DQN智能體以外的智能體 238
13.6.1 策略梯度算法和REINFORCE
算法 239
13.6.2 Actor-Critic算法 240
13.7 小結(jié) 240
13.8 核心概念 241
第Ⅳ部分 您與人工智能 243
第 14章 推進(jìn)專屬于您的深度學(xué)習(xí)項(xiàng)目 244
14.1 深度學(xué)習(xí)項(xiàng)目構(gòu)想 244
14.1.1 機(jī)器視覺和生成對(duì)抗網(wǎng)絡(luò) 244
目錄 8
14.1.2 自然語言處理 246
14.1.3 深度強(qiáng)化學(xué)習(xí) 246
14.1.4 轉(zhuǎn)換現(xiàn)有的機(jī)器學(xué)習(xí)項(xiàng)目 247
14.2 引申項(xiàng)目資源 248
14.3 建模過程和超參數(shù)調(diào)優(yōu) 249
14.4 深度學(xué)習(xí)框架 251
14.4.1 Keras和TensorFlow 251
14.4.2 PyTorch 253
14.4.3 MXNet、CNTK、Caffe等深度學(xué)習(xí)
框架 253
14.5 Software 2.0 253
14.6 邁向通用人工智能 255
14.7 小結(jié) 256
第Ⅴ部分 附錄 259
附錄A 神經(jīng)網(wǎng)絡(luò)的形式符號(hào) 260
附錄B 反向傳播 262
附錄C PyTorch 265
本書圖片來源 271