Python快樂編程：人工智能深度學習基礎

第1章深度學習簡介
1.1什么是機器學習
1.2什么是深度學習
1.2.1深度學習的發(fā)展
1.2.2深度學習的3個層次
1.2.3深度學習的3種結(jié)構(gòu)類型
1.3深度學習的研究現(xiàn)狀
1.4本章小結(jié)
1.5習題
第2章Theano基礎
2.1初識Theano
2.2安裝Theano
2.3配置環(huán)境變量
2.4Theano中的符號變量
2.5Theano編程風格
2.6Theano中的函數(shù)
2.6.1函數(shù)的定義
2.6.2函數(shù)的復制
2.6.3Theano中重要的函數(shù)
2.7Theano中的符號計算圖模型
2.7.1variable節(jié)點
2.7.2type節(jié)點
2.7.3apply節(jié)點
2.7.4op節(jié)點
2.7.5符號計算圖模型
2.8Theano中的條件表達式
2.9Theano中的循環(huán)
2.9.1scan循環(huán)的參數(shù)
2.9.2scan循環(huán)演示
2.10Theano中的常用Debug技巧
2.11本章小結(jié)
2.12習題
第3章線性代數(shù)基礎
3.1標量、向量、矩陣和張量
3.2線性相關與生成子空間
3.2.1線性組合
3.2.2線性相關
3.2.3向量組的秩
3.2.4實例： 求解方程組
3.2.5實例： 線性回歸
3.3范數(shù)
3.3.1向量范數(shù)
3.3.2矩陣范數(shù)
3.4特殊的矩陣與向量
3.5特征值分解
3.6奇異值分解
3.7跡運算
3.8本章小結(jié)
3.9習題
第4章概率與信息論
4.1概率的用途
4.2樣本空間與隨機變量
4.3隨機變量的分布函數(shù)
4.4一維隨機變量
4.4.1離散型隨機變量和分布律
4.4.2連續(xù)型隨機變量和概率密度函數(shù)
4.4.3分辨離散型隨機變量和連續(xù)型隨機變量
4.5多維隨機變量
4.5.1二維隨機變量及其分布函數(shù)
4.5.2邊緣分布函數(shù)
4.6數(shù)學期望、方差、協(xié)方差
4.6.1數(shù)學期望
4.6.2方差
4.6.3協(xié)方差
4.7貝葉斯規(guī)則
4.7.1條件概率
4.7.2貝葉斯公式
4.7.3樸素貝葉斯
4.8正態(tài)分布與似然估計
4.8.1正態(tài)分布
4.8.2似然估計
4.9信息論
4.9.1信息熵
4.9.2條件熵
4.9.3互信息
4.9.4相對熵與交叉熵
4.10本章小結(jié)
4.11習題
第5章深度學習基礎知識
5.1學習算法
5.1.1任務T
5.1.2性能度量P
5.1.3經(jīng)驗E
5.1.4人工神經(jīng)網(wǎng)絡
5.1.5反向傳播算法
5.1.6MP神經(jīng)元模型
5.1.7激活函數(shù)
5.2容量與擬合
5.2.1機器學習中的泛化
5.2.2過擬合
5.2.3欠擬合
5.2.4沒有免費的午餐定理
5.3評估方法
5.4偏差與方差
5.5監(jiān)督學習算法
5.5.1線性回歸
5.5.2Logistic回歸
5.5.3支持向量機
5.6無監(jiān)督學習算法
5.6.1K均值聚類
5.6.2主成分分析
5.7本章小結(jié)
5.8習題
第6章數(shù)值計算與化
6.1計算的穩(wěn)定性
6.1.1上溢和下溢
6.1.2平滑與0
6.1.3算法穩(wěn)定性與擾動
6.2數(shù)據(jù)的穩(wěn)定性
6.2.1獨立同分布與泛化能力
6.2.2類別不平衡
6.3性能的穩(wěn)定性
6.4病態(tài)條件數(shù)
6.5梯度下降算法
6.6優(yōu)化算法的選擇
6.7本章小結(jié)
6.8習題
第7章概率圖模型
7.1概率圖模型
7.2生成模型與判別模型
7.2.1生成模型
7.2.2判別模型
7.3表示理論與推理理論
7.4鏈式法則和因子分解
7.5獨立性和條件獨立性
7.6貝葉斯網(wǎng)絡
7.7馬爾可夫網(wǎng)絡
7.7.1條件獨立性
7.7.2分解性質(zhì)
7.7.3圖像降噪
7.8圖模型中的推斷
7.8.1鏈推斷
7.8.2樹
7.8.3因子圖
7.8.4置信傳播算法
7.8.5一般圖的精確推斷
7.8.6學習圖結(jié)構(gòu)
7.9本章小結(jié)
7.10習題
第8章前饋神經(jīng)網(wǎng)絡
8.1神經(jīng)元
8.2人工神經(jīng)網(wǎng)絡
8.3感知機
8.3.1線性單元
8.3.2感知機的訓練
8.4激活函數(shù)
8.4.1Sigmoid函數(shù)
8.4.2Tanh函數(shù)
8.4.3ReLU函數(shù)
8.4.4Softmax函數(shù)
8.5基于梯度的學習
8.5.1前饋神經(jīng)網(wǎng)絡的基本概念
8.5.2隨機梯度下降算法
8.6本章小結(jié)
8.7習題
第9章反向傳播與梯度計算
9.1風險小化
9.1.1經(jīng)驗風險小化
9.1.2結(jié)構(gòu)風險小化
9.2梯度計算
9.2.1輸出層梯度
9.2.2隱藏層梯度
9.2.3參數(shù)梯度
9.2.4梯度消失和梯度爆炸
9.3反向傳播
9.4本章小結(jié)
9.5習題
第10章自編碼器
10.1自編碼器概述
10.2欠完備自編碼器
10.3常見的幾種自編碼器
10.3.1降噪自編碼器
10.3.2稀疏自編碼器
10.3.3棧式自編碼器
10.4本章小結(jié)
10.5習題
第11章玻爾茲曼機及其相關模型
11.1玻爾茲曼機
11.1.1玻爾茲曼機概述
11.1.2受限玻爾茲曼機
11.2能量模型
11.2.1能量函數(shù)
11.2.2能量函數(shù)與勢函數(shù)
11.2.3勢函數(shù)與概率分布
11.3近似推斷
11.3.1邊緣分布
11.3.2條件分布
11.4對比散度
11.5本章小結(jié)
11.6習題
第12章循環(huán)神經(jīng)網(wǎng)絡
12.1循環(huán)神經(jīng)網(wǎng)絡概述
12.2語言模型
12.3雙向循環(huán)神經(jīng)網(wǎng)絡
12.4深度循環(huán)神經(jīng)網(wǎng)絡
12.5循環(huán)神經(jīng)網(wǎng)絡的訓練
12.5.1前向計算
12.5.2誤差項的計算
12.5.3權(quán)重梯度的計算
12.6循環(huán)神經(jīng)網(wǎng)絡中的梯度爆炸和梯度消失
12.7RNN的應用舉例——基于RNN的語言模型
12.7.1向量化
12.7.2Softmax層
12.7.3語言模型的訓練
12.8本章小結(jié)
12.9習題
第13章遞歸神經(jīng)網(wǎng)絡
13.1遞歸神經(jīng)網(wǎng)絡概述
13.2遞歸神經(jīng)網(wǎng)絡的前向計算
13.3遞歸神經(jīng)網(wǎng)絡的訓練
13.3.1誤差項的傳遞
13.3.2權(quán)重梯度的計算
13.3.3權(quán)重更新
13.4長短期記憶網(wǎng)絡
13.4.1遺忘門
13.4.2輸入門與輸出門
13.4.3候選門
13.5本章小結(jié)
13.6習題
第14章卷積神經(jīng)網(wǎng)絡
14.1卷積運算
14.2網(wǎng)絡結(jié)構(gòu)
14.3卷積層
14.4池化層
14.5輸出值的計算
14.6池化層輸出值的計算
14.7本章小結(jié)
14.8習題