深度學(xué)習(xí)：從基礎(chǔ)到實踐（上、下冊）

上冊



第 1章 機器學(xué)習(xí)與深度學(xué)習(xí)入門 1

1.1 為什么這一章出現(xiàn)在這里 1

1.1.1 從數(shù)據(jù)中提取含義 1

1.1.2 專家系統(tǒng) 3

1.2 從標記數(shù)據(jù)中學(xué)習(xí) 4

1.2.1 一種學(xué)習(xí)策略 5

1.2.2 一種計算機化的學(xué)習(xí)策略 6

1.2.3 泛化 8

1.2.4 讓我們仔細看看學(xué)習(xí)過程 9

1.3 監(jiān)督學(xué)習(xí) 10

1.3.1 分類 10

1.3.2 回歸 11

1.4 無監(jiān)督學(xué)習(xí) 12

1.4.1 聚類 13

1.4.2 降噪 13

1.4.3 降維 14

1.5 生成器 16

1.6 強化學(xué)習(xí) 18

1.7 深度學(xué)習(xí) 19

1.8 接下來會講什么 22

參考資料 22

第 2章 隨機性與基礎(chǔ)統(tǒng)計學(xué) 24

2.1 為什么這一章出現(xiàn)在這里 24

2.2 隨機變量 24

2.3 一些常見的分布 29

2.3.1 均勻分布 30

2.3.2 正態(tài)分布 31

2.3.3 伯努利分布 34

2.3.4 多項式分布 34

2.3.5 期望值 35

2.4 獨立性 35

2.5 抽樣與放回 36

2.5.1 有放回抽樣 36

2.5.2 無放回抽樣 37

2.5.3 做選擇 38

2.6 Bootstrapping算法 38

2.7 高維空間 41

2.8 協(xié)方差和相關(guān)性 43

2.8.1 協(xié)方差 43

2.8.2 相關(guān)性 44

2.9 Anscombe四重奏 47

參考資料 48

第3章 概率 50

3.1 為什么這一章出現(xiàn)在這里 50

3.2 飛鏢游戲 50

3.3 初級概率學(xué) 52

3.4 條件概率 52

3.5 聯(lián)合概率 55

3.6 邊際概率 57

3.7 測量的正確性 58

3.7.1 樣本分類 58

3.7.2 混淆矩陣 60

3.7.3 混淆矩陣的解釋 62

3.7.4 允許錯誤分類 64

3.7.5 準確率 65

3.7.6 精度 66

3.7.7 召回率 67

3.7.8 關(guān)于精度和召回率 68

3.7.9 其他方法 69

3.7.10 同時使用精度和召回率 71

3.7.11 f1分數(shù) 72

3.8 混淆矩陣的應(yīng)用 73

參考資料 77

第4章 貝葉斯定理 78

4.1 為什么這一章出現(xiàn)在這里 78

4.2 頻率論者法則以及貝葉斯法則 78

4.2.1 頻率論者法則 79

4.2.2 貝葉斯法則 79

4.2.3 討論 79

4.3 拋硬幣 80

4.4 這枚硬幣公平嗎 81

4.4.1 貝葉斯定理 86

4.4.2 貝葉斯定理的注意事項 87

4.5 生活中的貝葉斯定理 89

4.6 重復(fù)貝葉斯定理 91

4.6.1 后驗-先驗循環(huán) 92

4.6.2 例子：挑到的是哪種硬幣 93

4.7 多個假設(shè) 97

參考資料 101

第5章 曲線和曲面 102

5.1 為什么這一章出現(xiàn)在這里 102

5.2 引言 102

5.3 導(dǎo)數(shù) 103

5.4 梯度 108

參考資料 112

第6章 信息論 113

6.1 為什么這一章出現(xiàn)在這里 113

6.2 意外程度與語境 113

6.2.1 意外程度 114

6.2.2 語境 114

6.3 用比特作為單位 115

6.4 衡量信息 116

6.5 事件的大小 117

6.6 自適應(yīng)編碼 117

6.7 熵 122

6.8 交叉熵 123

6.8.1 兩種自適應(yīng)編碼 123

6.8.2 混合編碼 125

6.9 KL散度 127

參考資料 128

第7章 分類 130

7.1 為什么這一章出現(xiàn)在這里 130

7.2 二維分類 130

7.3 二維多分類 134

7.4 多維二元分類 135

7.4.1 one-versus-rest 135

7.4.2 one-versus-one 136

7.5 聚類 138

7.6 維度災(zāi)難 141

參考資料 149

第8章 訓(xùn)練與測試 150

8.1 為什么這一章出現(xiàn)在這里 150

8.2 訓(xùn)練 150

8.3 測試數(shù)據(jù) 153

8.4 驗證數(shù)據(jù) 156

8.5 交叉驗證 157

8.6 對測試結(jié)果的利用 160

參考資料 161

第9章 過擬合與欠擬合 162

9.1 為什么這一章出現(xiàn)在這里 162

9.2 過擬合與欠擬合 162

9.2.1 過擬合 162

9.2.2 欠擬合 164

9.3 過擬合數(shù)據(jù) 164

9.4 及早停止 167

9.5 正則化 168

9.6 偏差與方差 169

9.6.1 匹配潛在數(shù)據(jù) 170

9.6.2 高偏差，低方差 172

9.6.3 低偏差，高方差 173

9.6.4 比較這些曲線 173

9.7 用貝葉斯法則進行線擬合 175

參考資料 179

第 10章 神經(jīng)元 181

10.1 為什么這一章出現(xiàn)在這里 181

10.2 真實神經(jīng)元 181

10.3 人工神經(jīng)元 182

10.3.1 感知機 183

10.3.2 感知機的歷史 183

10.3.3 現(xiàn)代人工神經(jīng)元 184

10.4 小結(jié) 188

參考資料 188

第 11章 學(xué)習(xí)與推理 190

11.1 為什么這一章出現(xiàn)在這里 190

11.2 學(xué)習(xí)的步驟 190

11.2.1 表示 190

11.2.2 評估 192

11.2.3 優(yōu)化 193

11.3 演繹和歸納 193

11.4 演繹 194

11.5 歸納 199

11.5.1 機器學(xué)習(xí)中的歸納術(shù)語 201

11.5.2 歸納謬誤 202

11.6 組合推理 203

11.7 操作條件 204

參考資料 206

第 12章 數(shù)據(jù)準備 208

12.1 為什么這一章出現(xiàn)在這里 208

12.2 數(shù)據(jù)變換 208

12.3 數(shù)據(jù)類型 210

12.4 數(shù)據(jù)清理基礎(chǔ) 212

12.4.1 數(shù)據(jù)清理 212

12.4.2 現(xiàn)實中的數(shù)據(jù)清理 213

12.5 歸一化和標準化 213

12.5.1 歸一化 213

12.5.2 標準化 214

12.5.3 保存數(shù)據(jù)的轉(zhuǎn)換方式 215

12.5.4 轉(zhuǎn)換方式 216

12.6 特征選擇 217

12.7 降維 217

12.7.1 主成分分析 217

12.7.2 圖像的標準化和PCA 222

12.8 轉(zhuǎn)換 226

12.9 切片處理 229

12.9.1 逐樣本處理 230

12.9.2 逐特征處理 230

12.9.3 逐元素處理 231

12.10 交叉驗證轉(zhuǎn)換 232

參考資料 234

第 13章 分類器 236

13.1 為什么這一章出現(xiàn)在這里 236

13.2 分類器的種類 236

13.3 k近鄰法 237

13.4 支持向量機 241

13.5 決策樹 247

13.5.1 構(gòu)建決策樹 250

13.5.2 分離節(jié)點 253

13.5.3 控制過擬合 255

13.6 樸素貝葉斯 255

13.7 討論 259

參考資料 260

第 14章 集成算法 261

14.1 為什么這一章出現(xiàn)在這里 261

14.2 集成方法 261

14.3 投票 262

14.4 套袋算法 262

14.5 隨機森林 264

14.6 極端隨機樹 265

14.7 增強算法 265

參考資料 270

第 15章 scikit-learn 272

15.1 為什么這一章出現(xiàn)在這里 272

15.2 介紹 273

15.3 Python 約定 273

15.4 估算器 276

15.4.1 創(chuàng)建 276

15.4.2 學(xué)習(xí)fit()用法 277

15.4.3 用predict()預(yù)測 278

15.4.4 decision_function()，predict_proba() 279

15.5 聚類 279

15.6 變換 282

15.7 數(shù)據(jù)精化 286

15.8 集成器 288

15.9 自動化 290

15.9.1 交叉驗證 290

15.9.2 超參數(shù)搜索 292

15.9.3 枚舉型網(wǎng)格搜索 294

15.9.4 隨機型網(wǎng)格搜索 300

15.9.5 pipeline 300

15.9.6 決策邊界 307

15.9.7 流水線式變換 308

15.10 數(shù)據(jù)集 309

15.11 實用工具 311

15.12 結(jié)束語 312

參考資料 312

第 16章 前饋網(wǎng)絡(luò) 314

16.1 為什么這一章出現(xiàn)在這里 314

16.2 神經(jīng)網(wǎng)絡(luò)圖 314

16.3 同步與異步流 316

16.4 權(quán)重初始化 317

參考資料 320

第 17章 激活函數(shù) 321

17.1 為什么這一章出現(xiàn)在這里 321

17.2 激活函數(shù)可以做什么 321

17.3 基本的激活函數(shù) 324

17.3.1 線性函數(shù) 324

17.3.2 階梯狀函數(shù) 325

17.4 階躍函數(shù) 325

17.5 分段線性函數(shù) 327

17.6 光滑函數(shù) 329

17.7 激活函數(shù)畫廊 333

17.8 歸一化指數(shù)函數(shù) 333

參考資料 335

第 18章 反向傳播 336

18.1 為什么這一章出現(xiàn)在這里 336

18.2 一種非常慢的學(xué)習(xí)方式 337

18.2.1 緩慢的學(xué)習(xí)方式 339

18.2.2 更快的學(xué)習(xí)方式 340

18.3 現(xiàn)在沒有激活函數(shù) 341

18.4 神經(jīng)元輸出和網(wǎng)絡(luò)誤差 342

18.5 微小的神經(jīng)網(wǎng)絡(luò) 345

18.6 第 1步：輸出神經(jīng)元的delta 347

18.7 第 2步：使用delta改變權(quán)重 353

18.8 第3步：其他神經(jīng)元的delta 356

18.9 實際應(yīng)用中的反向傳播 359

18.10 使用激活函數(shù) 363

18.11 學(xué)習(xí)率 367

18.12 討論 374

18.12.1 在一個地方的反向傳播 374

18.12.2 反向傳播不做什么 374

18.12.3 反向傳播做什么 375

18.12.4 保持神經(jīng)元快樂 375

18.12.5 小批量 377

18.12.6 并行更新 378

18.12.7 為什么反向傳播很有吸引力 378

18.12.8 反向傳播并不是有保證的 379

18.12.9 一點歷史 379

18.12.10 深入研究數(shù)學(xué) 380

參考資料 381

第 19章 優(yōu)化器 383

19.1 為什么這一章出現(xiàn)在這里 383

19.2 幾何誤差 383

19.2.1 最小值、最大值、平臺和鞍部 383

19.2.2 作為二維曲線的誤差 386

19.3 調(diào)整學(xué)習(xí)率 388

19.3.1 固定大小的更新 388

19.3.2 隨時間改變學(xué)習(xí)率 394

19.3.3 衰減規(guī)劃 396

19.4 更新策略 398

19.4.1 批梯度下降 398

19.4.2 隨機梯度下降 400

19.4.3 mini batch梯度下降 401

19.5 梯度下降變體 403

19.5.1 動量 403

19.5.2 Nesterov動量 408

19.5.3 Adagrad 410

19.5.4 Adadelta和RMSprop 411

19.5.5 Adam 413

19.6 優(yōu)化器選擇 414

參考資料 415



下冊



第 20章 深度學(xué)習(xí) 417

20.1 為什么這一章出現(xiàn)在這里 417

20.2 深度學(xué)習(xí)概述 417

20.3 輸入層和輸出層 419

20.3.1 輸入層 419

20.3.2 輸出層 420

20.4 深度學(xué)習(xí)層縱覽 420

20.4.1 全連接層 421

20.4.2 激活函數(shù) 421

20.4.3 dropout 422

20.4.4 批歸一化 423

20.4.5 卷積層 424

20.4.6 池化層 425

20.4.7 循環(huán)層 426

20.4.8 其他工具層 427

20.5 層和圖形符號總結(jié) 428

20.6 一些例子 429

20.7 構(gòu)建一個深度學(xué)習(xí)器 434

20.8 解釋結(jié)果 435

參考資料 440

第 21章 卷積神經(jīng)網(wǎng)絡(luò) 441

21.1 為什么這一章出現(xiàn)在這里 441

21.2 介紹 441

21.2.1 “深度”的兩重含義 442

21.2.2 放縮后的值之和 443

21.2.3 權(quán)重共享 445

21.2.4 局部感知域 446

21.2.5 卷積核 447

21.3 卷積 447

21.3.1 過濾器 450

21.3.2 復(fù)眼視圖 452

21.3.3 過濾器的層次結(jié)構(gòu) 453

21.3.4 填充 458

21.3.5 步幅 459

21.4 高維卷積 462

21.4.1 具有多個通道的過濾器 463

21.4.2 層次結(jié)構(gòu)的步幅 465

21.5 一維卷積 466

21.6 1×1卷積 466

21.7 卷積層 468

21.8 轉(zhuǎn)置卷積 469

21.9 卷積網(wǎng)絡(luò)樣例 472

21.9.1 VGG16 475

21.9.2 有關(guān)過濾器的其他內(nèi)容：第 1部分 477

21.9.3 有關(guān)過濾器的其他內(nèi)容：第 2部分 481

21.10 對手 483

參考資料 485

第 22章 循環(huán)神經(jīng)網(wǎng)絡(luò) 488

22.1 為什么這一章出現(xiàn)在這里 488

22.2 引言 489

22.3 狀態(tài) 490

22.4 RNN單元的結(jié)構(gòu) 494

22.4.1 具有更多狀態(tài)的單元 496

22.4.2 狀態(tài)值的解釋 498

22.5 組織輸入 498

22.6 訓(xùn)練RNN 500

22.7 LSTM和GRU 502

22.7.1 門 503

22.7.2 LSTM 505

22.8 RNN的結(jié)構(gòu) 508

22.8.1 單個或多個輸入和輸出 508

22.8.2 深度RNN 510

22.8.3 雙向RNN 511

22.8.4 深度雙向RNN 512

22.9 一個例子 513

參考資料 517

第 23章 Keras第 1部分 520

23.1 為什么這一章出現(xiàn)在這里 520

23.1.1 本章結(jié)構(gòu) 520

23.1.2 筆記本 521

23.1.3 Python警告 521

23.2 庫和調(diào)試 521

23.2.1 版本和編程風(fēng)格 522

23.2.2 Python編程和調(diào)試 522

23.3 概述 523

23.3.1 什么是模型 524

23.3.2 張量和數(shù)組 524

23.3.3 設(shè)置Keras 524

23.3.4 張量圖像的形狀 525

23.3.5 GPU和其他加速器 527

23.4 準備開始 528

23.5 準備數(shù)據(jù) 530

23.5.1 重塑 530

23.5.2 加載數(shù)據(jù) 536

23.5.3 查看數(shù)據(jù) 537

23.5.4 訓(xùn)練-測試拆分 541

23.5.5 修復(fù)數(shù)據(jù)類型 541

23.5.6 歸一化數(shù)據(jù) 542

23.5.7 固定標簽 544

23.5.8 在同一個地方進行預(yù)處理 547

23.6 制作模型 548

23.6.1 將網(wǎng)格轉(zhuǎn)換為列表 548

23.6.2 創(chuàng)建模型 550

23.6.3 編譯模型 554

23.6.4 模型創(chuàng)建摘要 556

23.7 訓(xùn)練模型 557

23.8 訓(xùn)練和使用模型 559

23.8.1 查看輸出 560

23.8.2 預(yù)測 562

23.8.3 訓(xùn)練歷史分析 566

23.9 保存和加載 567

23.9.1 將所有內(nèi)容保存在一個文件中 567

23.9.2 僅保存權(quán)重 568

23.9.3 僅保存架構(gòu) 568

23.9.4 使用預(yù)訓(xùn)練模型 569

23.9.5 保存預(yù)處理步驟 569

23.10 回調(diào)函數(shù) 570

23.10.1 檢查點 570

23.10.2 學(xué)習(xí)率 572

23.10.3 及早停止 573

參考資料 575

第 24章 Keras第 2部分 577

24.1 為什么這一章出現(xiàn)在這里 577

24.2 改進模型 577

24.2.1 超參數(shù)計數(shù) 577

24.2.2 改變一個超參數(shù) 578

24.2.3 其他改進方法 580

24.2.4 再增加一個全連接層 581

24.2.5 少即是多 582

24.2.6 添加dropout 584

24.2.7 觀察 587

24.3 使用scikit-learn 588

24.3.1 Keras包裝器 588

24.3.2 交叉驗證 591

24.3.3 歸一化交叉驗證 594

24.3.4 超參數(shù)搜索 596

24.4 卷積網(wǎng)絡(luò) 602

24.4.1 工具層 603

24.4.2 為CNN準備數(shù)據(jù) 604

24.4.3 卷積層 606

24.4.4 對MNIST使用卷積 611

24.4.5 模式 619

24.4.6 圖像數(shù)據(jù)增強 621

24.4.7 合成數(shù)據(jù) 623

24.4.8 CNN的參數(shù)搜索 624

24.5 RNN 624

24.5.1 生成序列數(shù)據(jù) 625

24.5.2 RNN數(shù)據(jù)準備 627

24.5.3 創(chuàng)建并訓(xùn)練RNN 631

24.5.4 分析RNN性能 634

24.5.5 一個更復(fù)雜的數(shù)據(jù)集 639

24.5.6 深度RNN 641

24.5.7 更多數(shù)據(jù)的價值 643

24.5.8 返回序列 646

24.5.9 有狀態(tài)的RNN 649

24.5.10 時間分布層 650

24.5.11 生成文本 653

24.6 函數(shù)式API 658

24.6.1 輸入層 659

24.6.2 制作函數(shù)式模型 660

參考資料 664

第 25章 自編碼器 665

25.1 為什么這一章出現(xiàn)在這里 665

25.2 引言 666

25.2.1 有損編碼和無損編碼 666

25.2.2 區(qū)域編碼 667

25.2.3 混合展示 669

25.3 最簡單的自編碼器 671

25.4 更好的自編碼器 675

25.5 探索自編碼器 677

25.5.1 深入地觀察隱藏變量 677

25.5.2 參數(shù)空間 679

25.5.3 混合隱藏變量 683

25.5.4 對不同類型的輸入進行預(yù)測 684

25.6 討論 685

25.7 卷積自編碼器 685

25.7.1 混合卷積自編碼器中的隱藏變量 688

25.7.2 在CNN中對不同類型的輸入進行預(yù)測 689

25.8 降噪 689

25.9 VAE 691

25.9.1 隱藏變量的分布 691

25.9.2 VAE的結(jié)構(gòu) 692

25.10 探索VAE 697

參考資料 703

第 26章 強化學(xué)習(xí) 704

26.1 為什么這一章出現(xiàn)在這里 704

26.2 目標 704

26.3 強化學(xué)習(xí)的結(jié)構(gòu) 708

26.3.1 步驟1：智能體選擇一個動作 709

26.3.2 步驟2：環(huán)境做出響應(yīng) 710

26.3.3 步驟3：智能體進行自我更新 711

26.3.4 簡單版本的變體 712

26.3.5 回到主體部分 713

26.3.6 保存經(jīng)驗 714

26.3.7 獎勵 714

26.4 翻轉(zhuǎn) 718

26.5 L學(xué)習(xí) 719

26.6 Q學(xué)習(xí) 728

26.6.1 Q值與更新 729

26.6.2 Q學(xué)習(xí)策略 731

26.6.3 把所有東西放在一起 732

26.6.4 顯而易見而又被忽略的事實 733

26.6.5 Q學(xué)習(xí)的動作 734

26.7 SARSA 739

26.7.1 實際中的SARSA 741

26.7.2 對比Q學(xué)習(xí)和SARSA 744

26.8 強化學(xué)習(xí)的全貌 748

26.9 經(jīng)驗回放 749

26.10 兩個應(yīng)用 750

參考資料 751

第 27章 生成對抗網(wǎng)絡(luò) 753

27.1 為什么這一章出現(xiàn)在這里 753

27.2 一個比喻：偽造鈔票 754

27.2.1 從經(jīng)驗中學(xué)習(xí) 756

27.2.2 用神經(jīng)網(wǎng)絡(luò)偽造 757

27.2.3 一個學(xué)習(xí)回合 759

27.3 為什么要用“對抗” 760

27.4 GAN的實現(xiàn) 760

27.4.1 鑒別器 761

27.4.2 生成器 761

27.4.3 訓(xùn)練GAN 762

27.4.4 博弈 763

27.5 實際操作中的GAN 764

27.6 DCGAN 769

27.7 挑戰(zhàn) 771

27.7.1 使用大樣本 772

27.7.2 模態(tài)崩潰 772

參考資料 773

第 28章 創(chuàng)造性應(yīng)用 775

28.1 為什么這一章出現(xiàn)在這里 775

28.2 可視化過濾器 775

28.2.1 選擇網(wǎng)絡(luò) 775

28.2.2 可視化一個過濾器 776

28.2.3 可視化層 778

28.3 deep dreaming 779

28.4 神經(jīng)風(fēng)格遷移 782

28.4.1 在矩陣中捕獲風(fēng)格 783

28.4.2 宏觀藍圖 784

28.4.3 內(nèi)容損失 785

28.4.4 風(fēng)格損失 786

28.4.5 實現(xiàn)風(fēng)格遷移 789

28.4.6 討論 793

28.5 為本書生成更多的內(nèi)容 794

參考資料 795

第 29章 數(shù)據(jù)集 797

29.1 公共數(shù)據(jù)集 797

29.2 MNIST和Fashion-MNIST 797

29.3 庫的內(nèi)建數(shù)據(jù)集 798

29.3.1 scikit-learn 798

29.3.2 Keras 798