概率深度學(xué)習(xí)：使用Python、Keras和TensorFlow Probability

第Ⅰ部分  深度學(xué)習(xí)基礎(chǔ)
第1章  概率深度學(xué)習(xí)簡(jiǎn)介  3
1.1  概率模型初探   4
1.2  初步了解深度學(xué)習(xí)   7
1.3  分類(lèi)   10
1.3.1  傳統(tǒng)圖像分類(lèi)方法   11
1.3.2  深度學(xué)習(xí)圖像分類(lèi)方法   15
1.3.3  非概率分類(lèi)   17
1.3.4  概率分類(lèi)   18
1.3.5  貝葉斯概率分類(lèi)   19
1.4  曲線(xiàn)擬合   21
1.4.1  非概率曲線(xiàn)擬合   21
1.4.2  概率曲線(xiàn)擬合   23
1.4.3  貝葉斯概率曲線(xiàn)擬合   25
1.5  何時(shí)使用和何時(shí)不使用深度學(xué)習(xí)   26
1.5.1  不宜使用深度學(xué)習(xí)的情況   27
1.5.2  適宜使用深度學(xué)習(xí)的情況   27
1.5.3  何時(shí)使用和何時(shí)不使用概率模型   28
1.6  你將在本書(shū)中學(xué)到什么   28
1.7  小結(jié)   29
第2章  神經(jīng)網(wǎng)絡(luò)架構(gòu)   31
2.1  全連接神經(jīng)網(wǎng)絡(luò)(fcNN)   32
2.1.1  人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)原型   33
2.1.2  神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)入門(mén)   35
2.1.3  使用全連接神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類(lèi)   48
2.2  用于圖像類(lèi)數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)   56
2.2.1  卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)中的主要思想   57
2.2.2  “邊緣愛(ài)好者”小卷積神經(jīng)網(wǎng)絡(luò)   61
2.2.3  卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的生物學(xué)起源   64
2.2.4  建立和理解卷積神經(jīng)網(wǎng)絡(luò)   66
2.3  用于序列數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡(luò)   72
2.3.1  時(shí)序數(shù)據(jù)格式   73
2.3.2  有序數(shù)據(jù)有何特別之處   74
2.3.3  時(shí)間序列數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)   75
2.4  小結(jié)   77
第3章  曲線(xiàn)擬合原理   79
3.1  曲線(xiàn)擬合中的“Hello World”   81
3.2  梯度下降法   88
3.2.1  具有一個(gè)模型自由參數(shù)的損失函數(shù)   89
3.2.2  具有兩個(gè)模型自由參數(shù)的損失函數(shù)   93
3.3  深度學(xué)習(xí)中的特殊技巧   98
3.3.1  小批量梯度下降   99
3.3.2  使用隨機(jī)梯度下降改進(jìn)算法來(lái)加快學(xué)習(xí)速度   100
3.3.3  自動(dòng)微分   100
3.4  深度學(xué)習(xí)框架中的反向傳播   101
3.4.1  靜態(tài)圖框架   102
3.4.2  動(dòng)態(tài)圖框架   112
3.5  小結(jié)   114
第Ⅱ部分  概率深度學(xué)習(xí)模型的似然方法
第4章  似然定義損失函數(shù)   117
4.1  損失函數(shù)之母——似然原則   118
4.2  分類(lèi)問(wèn)題損失函數(shù)推導(dǎo)   124
4.2.1  二元分類(lèi)問(wèn)題   125
4.2.2  兩個(gè)以上類(lèi)別分類(lèi)問(wèn)題   133
4.2.3  負(fù)對(duì)數(shù)似然、交叉熵和K-L散度之間的關(guān)系   137
4.3  回歸問(wèn)題損失函數(shù)推導(dǎo)   140
4.3.1  使用無(wú)隱藏層、單輸出神經(jīng)網(wǎng)絡(luò)對(duì)輸入與輸出的線(xiàn)性關(guān)系進(jìn)行建模   140
4.3.2  采用具有隱藏層的神經(jīng)網(wǎng)絡(luò)對(duì)輸入與輸出的非線(xiàn)性關(guān)系進(jìn)行建模   151
4.3.3  采用兩輸出神經(jīng)網(wǎng)絡(luò)對(duì)異方差回歸任務(wù)進(jìn)行建模   153
4.4  小結(jié)   159
第5章  基于TensorFlow概率編程的概率深度學(xué)習(xí)模型   161
5.1  不同概率預(yù)測(cè)模型的評(píng)價(jià)和比較   165
5.2  TFP概率編程概述   166
5.3  基于TFP概率編程的連續(xù)數(shù)據(jù)建模   171
5.3.1  常量方差線(xiàn)性回歸模型的擬合與評(píng)估   172
5.3.2  變方差線(xiàn)性回歸模型的擬合與評(píng)估   176
5.4  基于TFP的計(jì)數(shù)數(shù)據(jù)建模   182
5.4.1  適用于計(jì)數(shù)數(shù)據(jù)的泊松分布   187
5.4.2  擴(kuò)展泊松分布為零膨脹泊松(ZIP)分布   193
5.5  小結(jié)   197
第6章  “野外世界”中的概率深度學(xué)習(xí)模型   198
6.1  高級(jí)深度學(xué)習(xí)模型中的靈活概率分布   200
6.1.1  多項(xiàng)式分布作為一種靈活分布   201
6.1.2  理解離散邏輯混合   204
6.2  案例研究：巴伐利亞公路傷亡事故   208
6.3  與流同行：標(biāo)準(zhǔn)化流(NF)簡(jiǎn)介   210
6.3.1  標(biāo)準(zhǔn)化流的基本原理   212
6.3.2  概率變量變換   215
6.3.3  標(biāo)準(zhǔn)化流模型擬合   222
6.3.4  鏈接流以實(shí)現(xiàn)深度變換   224
6.3.5  高維空間變換*   229
6.3.6  流操作的網(wǎng)絡(luò)實(shí)現(xiàn)   232
6.3.7  有趣的流模型：人臉圖像采樣   239
6.4  小結(jié)   245
第Ⅲ部分  概率深度學(xué)習(xí)模型的貝葉斯方法
第7章  貝葉斯學(xué)習(xí)   249
7.1  非貝葉斯深度學(xué)習(xí)的弊端，以房間里的大象為例   250
7.2  初始貝葉斯方法   255
7.2.1  貝葉斯模型：黑客式   255
7.2.2  我們剛剛做了什么   260
7.3  貝葉斯概率模型   261
7.3.1  貝葉斯模型訓(xùn)練和預(yù)測(cè)   263
7.3.2  投擲硬幣，貝葉斯模型的“Hello World”   270
7.3.3  貝葉斯線(xiàn)性回歸模型回顧   282
7.4  小結(jié)   288
 
第8章  貝葉斯神經(jīng)網(wǎng)絡(luò)   289
8.1  貝葉斯神經(jīng)網(wǎng)絡(luò)概述   291
8.2  變分推理貝葉斯近似   293
8.2.1  深入了解變分推理*   294
8.2.2  變分推理簡(jiǎn)單應(yīng)用*   300
8.3  變分推理TFP實(shí)現(xiàn)   309
8.4  蒙特卡羅dropout貝葉斯近似   312
8.4.1  經(jīng)典dropout訓(xùn)練方法   313
8.4.2  在訓(xùn)練和測(cè)試過(guò)程中采用蒙特卡羅dropout   317
8.5  案例研究   320
8.5.1  回歸中的外推問(wèn)題   320
8.5.2  分類(lèi)任務(wù)中新類(lèi)別問(wèn)題   326
8.6  小結(jié)   336
術(shù)語(yǔ)和縮寫(xiě)詞的詞表   337