機(jī)器學(xué)習(xí)入門(mén)：數(shù)學(xué)原理解析及算法實(shí)踐

序言
前言
第一部分
第 1 章 專(zhuān)家系統(tǒng) 2
1.1 早期的專(zhuān)家系統(tǒng) 2
1.2 正向推理 4
1.3 逆向推理 5
1.4 謂詞邏輯 6
1.5 專(zhuān)家系統(tǒng)的貢獻(xiàn)和困難 7
1.6 動(dòng)手實(shí)踐 9
1.6.1 簡(jiǎn)化的專(zhuān)家系統(tǒng) 10
1.6.2 正向推理 10
1.6.3 逆向推理 11
參考文獻(xiàn) 13
第 2 章 決策樹(shù) 14
2.1 分類(lèi)問(wèn)題 15
2.2 構(gòu)造決策樹(shù) 16
2.3 ID3 算法 17
2.4 信息熵 19
2.5 基尼不純度 21
2.6 動(dòng)手實(shí)踐 22
2.6.1 計(jì)算信息熵 22
2.6.2 構(gòu)造決策樹(shù) 23
2.6.3 使用 scikit-learn軟件包 27
參考文獻(xiàn) 30
第 3 章 神經(jīng)元和感知機(jī) 31
3.1 生物神經(jīng)元 31
3.2 早期感知機(jī)模型 33
3.3 現(xiàn)代的模型 34
3.4 學(xué)習(xí)模型參數(shù) 36
3.4.1 梯度下降法 36
3.4.2 Delta 法則 37
3.5 動(dòng)手實(shí)踐 38
3.5.1 實(shí)現(xiàn)感知機(jī)模型 38
3.5.2 識(shí)別手寫(xiě)數(shù)字 43
參考文獻(xiàn) 48
第 4 章 線(xiàn)性回歸 49
4.1 線(xiàn)性回歸概述 49
4.2 最小二乘法 51
4.3 矩陣形式 52
4.4 一般性的回歸問(wèn)題 54
4.5 動(dòng)手實(shí)踐 54
4.5.1 實(shí)現(xiàn)一維線(xiàn)性回歸 54
4.5.2 實(shí)現(xiàn)最小二乘法 56
4.5.3 使用 numpy 軟件包 59
第 5 章 邏輯斯蒂回歸和分類(lèi)器 64
5.1 分類(lèi)問(wèn)題 64
5.2 最大似然估計(jì) 66
5.3 交叉熵?fù)p失函數(shù) 67
5.4 多類(lèi)別分類(lèi) 68
5.4.1 多類(lèi)別邏輯斯蒂回歸 69
5.4.2 歸一化指數(shù)函數(shù) 70
5.4.3 交叉熵誤差和均方誤差的比較 72
5.5 分類(lèi)器的決策邊界 73
5.6 支持向量機(jī) 75
5.6.1 支持向量 77
5.6.2 拉格朗日乘子法 78
5.6.3 非線(xiàn)性分類(lèi)與核函數(shù) 80
5.7 動(dòng)手實(shí)踐 82
5.7.1 使用邏輯斯蒂回歸 82
5.7.2 觀(guān)察分類(lèi)邊界 83
5.7.3 使用支持向量機(jī) 85
參考文獻(xiàn) 87
第二部分
第 6 章 人工神經(jīng)網(wǎng)絡(luò) 90
6.1 異或問(wèn)題和多層感知機(jī) 90
6.2 反向傳播算法 92
6.3 深度神經(jīng)網(wǎng)絡(luò) 94
6.3.1 生物神經(jīng)機(jī)制的啟示 94
6.3.2 解決深度神經(jīng)網(wǎng)絡(luò)面臨的問(wèn)題 95
6.4 卷積和池化 98
6.4.1 神經(jīng)連接的局部性 98
6.4.2 平移不變性 99
6.4.3 卷積處理圖像的效果 99
6.4.4 簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞的仿生學(xué) 102
6.5 循環(huán)神經(jīng)網(wǎng)絡(luò) 103
6.6 使用 PyTorch 軟件包 104
6.7 動(dòng)手實(shí)踐 106
6.7.1 識(shí)別手寫(xiě)數(shù)字 106
6.7.2 準(zhǔn)備訓(xùn)練數(shù)據(jù) 109
6.7.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型 110
6.8 物