碼農(nóng)的零門檻AI課：基于fastai與PyTorch的深度學習

前言......xxi
序......xxvii
第Ⅰ部分　上手實踐深度學習
第 1 章　你的深度學習之旅........ 3
人人都可以學會深度學習 ...... 3
神經(jīng)網(wǎng)絡簡史 .......... 5
作者介紹 ............... 8
如何學習深度學習 ......... 9
你的項目和思維模式 .......... 11
構(gòu)建模型相關的庫和運行環(huán)境 ：PyTorch、fastai 和 Jupyter（它們都不重要） .... 12
你的第一個模型 .............. 14
找一臺擁有合適 GPU 的計算機用于深度學習 ....... 14
運行你的第一個 notebook ..........15
什么是機器學習 ................20
什么是神經(jīng)網(wǎng)絡 ............ 23
一些深度學習的術語 ......... 24
機器學習的局限性 ............ 25
圖像識別器工作的方式 ....... 27
圖像識別器在學習什么 ..................33
圖像識別器可處理非圖像任務 ....... 36
術語回顧 ................ 39
深度學習不僅僅用于圖像分類 .......... 41
驗證集和測試集 .............. 48
根據(jù)判斷定義測試集 ..................50
選擇你想要冒險探索的方向 .......... 53
問題 .....................54
深入研究 ....................... 55
第 2 章　從模型到輸出..... 56
深度學習的實踐 .............56
開始你的項目 ............... 57
深度學習的研究進展 ........58
傳動系統(tǒng)方法 .........62
收集數(shù)據(jù) ................ 63
從數(shù)據(jù)到數(shù)據(jù)加載器 ........ 68
數(shù)據(jù)增強 ............ 72
訓練模型，并使用模型進行數(shù)據(jù)清洗 ......73
將模型轉(zhuǎn)換為在線應用程序 ........ 76
使用模型進行推理 ............ 76
從模型創(chuàng)建 notebook 應用 ...........78
讓 notebook 成為一個真正的應用程序 ....... 80
部署你的應用程序 ........ 81
如何避免災難 ...............84
不可預見的后果和反饋回路 ...... 86
寫下來 ............. 87
問題 ................ 88
深入研究 ............... 89
第 3 章　數(shù)據(jù)倫理.........90
數(shù)據(jù)倫理的主要案例 .......... 91
各種 Bug 和追索權(quán) ：漏洞百出的醫(yī)療保健福利算法 ..... 92
反饋回路 ：YouTube 的推薦系統(tǒng) ........... 92
偏見 ：拉塔尼亞 · 斯威尼“已被捕” ........ 92
為什么倫理如此重要 ......... 93
在產(chǎn)品設計中結(jié)合機器學習 .. 96
數(shù)據(jù)倫理專題 .......... 97
追索權(quán)和問責制 ........ 98
反饋回路 ........... 98
偏見 ........... 101
謠言 .................111
識別和解決倫理問題 ......... 112
分析你正在做的項目 ........ 113
落地流程 ....... 113
多元的力量........ 115
公平、問責和透明 ....... 116
政策的作用 ...... 117
監(jiān)管的有效性 ....... 118
權(quán)利與政策.........118
汽車 ：前車之鑒 ....... 119
結(jié)論 ........ 119
問題 ........... 120
深入研究 .............. 121
上手實踐深度學習 ：圓滿完成 ...... 122
第Ⅱ部分　理解 fastai 的應用
第 4 章　深入探索謎底 ：訓練數(shù)字分類器.........125
像素 ：計算機視覺的基礎 .......... 125
第一次嘗試 ：像素相似度 ............. 129
Numpy 數(shù)組和 PyTorch 張量............. 134
使用廣播機制計算指標............ 136
隨機梯度下降法 ............ 140
梯度計算 .............. 144
通過學習率迭代 ............... 146
一個直觀的隨機梯度下降案例 ............ 148
梯度下降的總結(jié) ................ 153
MNIST 損失函數(shù) ............. 154
sigmoid .............. 160
隨機梯度下降及小批次 ............. 161
將它們集成在一起 ............ 162
創(chuàng)建一個優(yōu)化器 ........... 166
增加一個非線性特征 .......... 168
更深入一些...... 172
術語回顧 ........... 172
問題 ................ 174
深入研究 ................ 175
第 5 章 　圖像分類...........176
從貓狗識別到寵物分類............ 176
圖像尺寸的預處理 ......... 179
檢查和調(diào)試數(shù)據(jù)塊 ............ 182
交叉熵損失 ......... 184
查看激活值和標簽 ............ 185
softmax ............... 186
對數(shù)似然 ........ 189
使用對數(shù)函數(shù) .......... 191
模型解釋 ......... 193
改進我們的模型 ........... 195
學習率查找器 .......... 195
解凍與遷移學習 .... 197
區(qū)別學習率........... 199
選擇訓練的周期數(shù) ..... 202
更深的網(wǎng)絡架構(gòu) .......... 202
結(jié)論 ........... 204
問題 ........... 205
深入研究 ............ 206
第 6 章　其他計算機視覺問題........207
多標簽分類 ...... 207
數(shù)據(jù) ............. 208
構(gòu)建數(shù)據(jù)塊.......... 210
二元交叉熵........ 214
回歸 ............. 219
配置數(shù)據(jù) .......... 220
訓練模型 ....... 223
結(jié)論 ......... 225
問題 ......... 225
深入研究 ............ 226
第 7 章　訓練最高水準的模型..........227
Imagenette ....... 227
標準化 ............ 229
漸進式調(diào)整尺寸 ....... 231
測試期的數(shù)據(jù)增強 ....... 233
Mixup ...... 234
標簽平滑 ......... 237
結(jié)論 ......... 239
問題 ............. 239
深入研究 ..... 240
第 8 章　深入?yún)f(xié)同過濾.......241
了解數(shù)據(jù) ........... 242
學習潛在特征 ............ 244
創(chuàng)建 DataLoaders ........... 245
從頭開始進行協(xié)同過濾.......... 248
權(quán)重衰減 ............... 251
創(chuàng)建我們自己的嵌入模塊 .... 253
嵌入和偏差的解釋 ......... 255
使用 fastai.collab .......... 257
嵌入距離 ................ 257
啟動協(xié)同過濾模型的自助取樣 ...... 258
用于協(xié)同過濾的深度學習 ...... 259
結(jié)論 ............ 262
問題 ....... 262
深入研究 .......... 263
第 9 章　深入學習表格建模.......264
分類嵌入 ......... 264
超越深度學習 ..... 269
數(shù)據(jù)集 .......... 270
Kaggle 競賽 .. 270
查看數(shù)據(jù) ....... 272
決策樹 ......... 274
處理日期 .......... 275
使用 TabularPandas 和 TabularProc .... 276
創(chuàng)建決策樹...... 279
分類變量 ....... 283
隨機森林 ....... 284
創(chuàng)建一個隨機森林 ...... 285
out-of-bag error .... 287
模型解釋 ......... 288
樹預測置信度的方差 ...... 288
特征重要性........... 289
刪除低重要性特征 .... 290
刪除冗余特征 ....... 291
部分依賴 ......... 294
數(shù)據(jù)泄露 .......... 296
樹解釋器 ....... 298
外推與神經(jīng)網(wǎng)絡 ... 299
外推問題 ...... 299
查找域外數(shù)據(jù) ... 301
使用神經(jīng)網(wǎng)絡 ....... 303
集成 ....... 307
boosting ......... 308
將嵌入與其他方法相結(jié)合 ..... 309
結(jié)論 ........ 310
問題 ......... 311
深入研究 ...... 312
第 10 章　NLP 深度探究 ：RNN.......313
文本預處理 ....... 314
分詞 ....... 316
用 fastai 進行分詞 ....... 316
根據(jù)子詞分詞 .......... 320
使用 fastai 進行數(shù)值化 .......... 322
將文本分批作為語言模型的輸入 ....... 323
訓練文本分類器 ........... 326
使用數(shù)據(jù)塊來訓練語言模型 ....... 326
微調(diào)語言模型 ....... 328
保存和加載模型 ......... 329
文本生成 ....... 330
創(chuàng)建分類器的數(shù)據(jù)加載器 ........... 331
微調(diào)分類模型 ............. 333
虛假信息和語言模型 ............... 334
結(jié)論 ......... 337
問題 .............. 337
深入研究 ............. 338
第 11 章　使用 fastai 的中間層 API 來處理數(shù)據(jù)............339
深入研究 fastai 的分層 API .......... 339
轉(zhuǎn)換 .............. 340
編寫自定義轉(zhuǎn)換 ........... 342
管道 .............. 343
TfmdLists 和 Dataset ：轉(zhuǎn)換后的集合 ........ 343
TfmdLists ........... 344
Datasets ........ 346
應用中間層數(shù)據(jù) API ：孿生體（Siamese Pair） ....... 348
結(jié)論 ........... 352
問題 ......... 352
深入研究 ............. 353
理解 fastai 的應用 ：總結(jié) ........ 353
第Ⅲ部分　深度學習基礎
第 12 章　從零開始制作語言模型.......................357
數(shù)據(jù) ............................................ 357
從零開始構(gòu)建你的第一個語言模型 ............. 359
PyTorch 語言模型 ....................... 360
我們的第一個循環(huán)神經(jīng)網(wǎng)絡 .............. 363
改進 RNN ................................... 364
維持 RNN 的狀態(tài) ................... 365
創(chuàng)建更多的標志 ......................... 368
多層循環(huán)神經(jīng)網(wǎng)絡 .......................... 370
模型 ............................... 371
激活值消失 / 爆炸 ................. 372
LSTM .......................................... 373
從零開始構(gòu)建 LSTM ....................... 374
使用 LSTM 訓練一個語言模型 .............. 377
對 LSTM 進行正則化 ................. 378
dropout ........................................... 378
激活單元正則化和時序激活單元正則化 .............. 380
訓練一個權(quán)重綁定正則化 LSTM ...................... 381
結(jié)論 ....................................... 382
問題 .................................... 383
深入研究 ....................................... 385
第 13 章　卷積神經(jīng)網(wǎng)絡............................386
卷積的魔力 ............................ 386
應用一個卷積核 ............................... 389
PyTorch 中的卷積 ................391
步長和填充............................ 393
理解卷積方程 ................................. 395
我們的第一個卷積神經(jīng)網(wǎng)絡 .................... 397
創(chuàng)建 CNN .................................... 397
理解卷積運算 ................................. 401
感受野 ........................................ 402
關于 Twitter 的提示 ........................ 403
彩色圖像 .................................... 405
改善訓練穩(wěn)定性 .................... 408
簡單基準 .............................. 409
增加批次大小 ....................... 411
1 周期訓練 ......................... 412
批次歸一化..................... 417
結(jié)論 ................................. 419
問題 .............................. 420
深入研究 ............................ 421
第 14 章　ResNet.......................422
回到 Imagenette ................... 422
建立現(xiàn)代 CNN ：ResNet .............. 425
跳連 ............................... 426
最先進的 ResNet ................ 431
瓶頸層 .............. 434
結(jié)論 .................. 436
問題 ......................... 436
深入研究 .............................. 438
第 15 章　深入研究應用架構(gòu)..........439
計算機視覺 ............................ 439
cnn_learner ....................... 439
unet_learner .......................... 441
Siamese 網(wǎng)絡 .......................... 443
自然語言處理 .......................... 445
表格 ............................... 446
結(jié)論 ................................ 447
問題 .................................. 449
深入研究 .......................... 450
第 16 章　訓練過程...................451
建立基線 .............................. 451
通用優(yōu)化器 ........................... 453
動量 ................................. 454
RMSProp ................................ 457
Adam .......................... 458
解耦權(quán)重衰減 ........................ 459
回調(diào) .................................. 460
創(chuàng)建一個回調(diào)函數(shù) .................. 463
回調(diào)排序和異常 .................. 466
結(jié)論 ....................................... 468
問題 ......................... 468
深入研究 ...................... 469
深度學習基礎 ：總結(jié) ............. 469
第Ⅳ部分　從零開始學習深度學習
第 17 章　神經(jīng)網(wǎng)絡基礎...................473
從零開始構(gòu)建神經(jīng)網(wǎng)絡層 ................... 473
建立神經(jīng)元模型 ............................ 473
從零開始進行矩陣乘法 ..................... 474
逐元素運算.................................. 476
廣播 ............................................ 477
愛因斯坦求和 ............................... 482
前向和反向傳播 ............................. 483
定義神經(jīng)網(wǎng)絡層并對其初始化 .............. 483
梯度和反向傳播 .......................... 488
重構(gòu)模型 ........................... 491
邁向 PyTorch ......................... 492
結(jié)論 .................................. 495
問題 ........ 496
深入研究 ................................. 497
第 18 章　用 CAM 做 CNN 的解釋............498
CAM 和 hook .......... 498
梯度 CAM ............502
結(jié)論 .......... 504
問題 .................. 504
深入研究 ........... 504
第 19 章　從零開始構(gòu)建 fastai Learner............505
數(shù)據(jù) ............... 505
數(shù)據(jù)集 .......... 507
Module 和 Parameter ........... 510
簡單的 CNN .................. 513
損失 ...... 514
Learner ........ 516
回調(diào) ..... 518
調(diào)整學習率安排表 ...... 519
結(jié)論 ...... 522
問題 .......... 522
深入研究 ......... 523
第 20 章　總結(jié).....................524
附錄 A　創(chuàng)建一個博客.................527
附錄 B　數(shù)據(jù)科學項目的檢查表.........536