速通深度學(xué)習(xí)數(shù)學(xué)基礎(chǔ)

第1章　線性代數(shù)的基本概念 1

1.1　向量和深度學(xué)習(xí) 1

1.2　向量距離計算 7

1.3　向量的基本性質(zhì) 11

1.3.1　向量的基本運算 11

1.3.2　線性相關(guān)和線性無關(guān) 14

1.3.3　向量的投影和正交 15

1.4　矩陣 18

1.4.1　矩陣的基本概念 18

1.4.2　矩陣和神經(jīng)網(wǎng)絡(luò) 26

1.4.3　矩陣的秩 28

1.5　一些特殊的矩陣 30

1.5.1　矩陣的逆和廣義逆 30

1.5.2　正交矩陣 32

第2章　線性代數(shù)在深度學(xué)習(xí)中的應(yīng)用 34

2.1　特征值和特征向量 34

2.1.1　特征值和特征向量的定義 34

2.1.2　一般矩陣的特征分解 37

2.1.3　對稱矩陣的特征分解 38

2.2　奇異值分解 41

2.3　正定矩陣 45

2.4　矩陣的范數(shù)和神經(jīng)網(wǎng)絡(luò) 46

2.5　主成分分析 49

2.6　推薦系統(tǒng)中的矩陣分解 55

第3章　微積分的基本概念 59

3.1　導(dǎo)數(shù)的定義和幾何意義 59

3.2　復(fù)雜函數(shù)求導(dǎo) 61

3.3　導(dǎo)數(shù)的存在性 64

3.4　多元函數(shù)求導(dǎo) 65

3.5　二階導(dǎo)數(shù)和高階導(dǎo)數(shù) 65

3.6　函數(shù)的極大值和極小值 69

3.6.1　一元函數(shù)的極大值和極小值 69

3.6.2　多元函數(shù)的凹凸性和海森矩陣 72

3.6.3　凸優(yōu)化證明 73

第4章　微積分在深度學(xué)習(xí)中的應(yīng)用 77

4.1　梯度下降法 77

4.1.1　梯度下降法在深度學(xué)習(xí)中的應(yīng)用 77

4.1.2　泰勒公式和梯度下降法 80

4.1.3　牛頓迭代法 81

4.2　梯度下降法的缺點 84

4.3　矩陣求導(dǎo)術(shù) 88

4.3.1　標量對向量和矩陣求導(dǎo) 88

4.3.2　向量對向量求導(dǎo) 89

4.3.3　鏈式法則 91

4.4　常見激活函數(shù)及其導(dǎo)數(shù) 92

4.5　常見損失函數(shù)及其導(dǎo)數(shù) 99

4.5.1　分類和回歸 99

4.5.2　哈夫曼樹和負采樣 103

4.5.3　度量學(xué)習(xí) 106

4.6　積分和求和 108

4.6.1　積分和不定積分 108

4.6.2　多重積分 111

4.6.3　分類模型的效果指標AUC 113

第5章　概率的基本概念 117

5.1　概率入門 117

5.2　聯(lián)合概率和條件概率 119

5.3　貝葉斯定理 122

5.4　連續(xù)概率分布 124

5.5　均值和方差 126

5.6　相關(guān)性 130

5.7　正態(tài)分布 133

5.7.1　正態(tài)分布的基本概念和性質(zhì) 133

5.7.2　正態(tài)分布和邏輯回歸 137

第6章　概率在深度學(xué)習(xí)中的應(yīng)用 139

6.1　概率分布之間的距離 139

6.2　最大似然估計 140

6.3　Logit和Softmax 143

6.3.1　二分類的Logit 143

6.3.2　多分類的Softmax 144

6.4　語言模型 147

6.5　概率悖論 150

6.5.1　辛普森悖論 150

6.5.2　基本比率謬誤 151

6.5.3　羅杰斯現(xiàn)象 153

6.5.4　伯克森悖論 153

6.6　統(tǒng)計學(xué)基礎(chǔ) 155

6.6.1　卡方分布和學(xué)生分布 155

6.6.2　假設(shè)檢驗 158

6.6.3　AB測試 168

6.7　各類散列變換 172

6.7.1　特征Hash 172

6.7.2　MD5 174

6.7.3　特征空間的投影 175

6.7.4　simhash 177

6.7.5　minhash 178

6.8　分類器性能的極限 181

6.8.1　最大AUC 181

6.8.2　貝葉斯錯誤率 184