機(jī)器學(xué)習(xí) 公式推導(dǎo)與代碼實(shí)現(xiàn)

序
前言
第 1章 機(jī)器學(xué)習(xí)預(yù)備知識(shí) 2
1．1 引言 2
1．2 關(guān)鍵術(shù)語(yǔ)與任務(wù)類型 2
1．3 機(jī)器學(xué)習(xí)三要素 3
1．4 機(jī)器學(xué)習(xí)核心 4
1．5 機(jī)器學(xué)習(xí)流程 5
1．6 NumPy必學(xué)必會(huì) 7
1．6．1 創(chuàng)建數(shù)組 7
1．6．2 數(shù)組的索引與切片 9
1．6．3 數(shù)組的基礎(chǔ)運(yùn)算 10
1．6．4 數(shù)組維度變換 11
1．6．5 數(shù)組合并與切分 12
1．7 sklearn簡(jiǎn)介 13
1．8章節(jié)安排 14
1．9 小結(jié) 16
第 2章 線性回歸 18
2．1 杭州的二手房房?jī)r(jià) 18
2．2 線性回歸的原理推導(dǎo) 19
2．3 線性回歸的代碼實(shí)現(xiàn) 22
2．3．1 編寫思路 22
2．3．2 基于NumPy的代碼實(shí)現(xiàn) 23
2．3．3 基于sklearn的模型實(shí)現(xiàn) 28
2．4 小結(jié) 29
第3章 邏輯回歸 30
3．1 App開屏廣告 30
3．2 邏輯回歸的原理推導(dǎo) 31
3．3 邏輯回歸的代碼實(shí)現(xiàn) 33
3．3．1 編寫思路 33
3．3．2 基于NumPy的邏輯回歸實(shí)現(xiàn) 34
3．3．3 基于sklearn的邏輯回歸實(shí)現(xiàn) 41
3．4 小結(jié) 41
第4章 回歸模型拓展 42
4．1 回到杭州二手房房?jī)r(jià) 42
4．2 LASSO回歸的原理推導(dǎo) 42
4．3 LASSO回歸的代碼實(shí)現(xiàn) 44
4．3．1 編寫思路 44
4．3．2 基于NumPy的LASSO回歸實(shí)現(xiàn) 45
4．3．3 基于sklearn的LASSO回歸實(shí)現(xiàn) 49
4．4 Ridge回歸的原理推導(dǎo) 49
4．5 Ridge回歸的代碼實(shí)現(xiàn) 50
4．6 小結(jié) 54
第5章 線性判別分析 55
5．1 LDA基本思想 55
5．2 LDA數(shù)學(xué)推導(dǎo) 56
5．3 LDA算法實(shí)現(xiàn) 57
5．3．1 基于NumPy的LDA算法實(shí)現(xiàn) 57
5．3．2 基于sklearn的LDA算法實(shí)現(xiàn) 60
5．4 小結(jié) 61
第6章 k近鄰算法 62
6．1 “猜你喜歡”的推薦邏輯 62
6．2 距離度量方式 63
6．3 k 近鄰算法的基本原理 64
6．4 k 近鄰算法的代碼實(shí)現(xiàn) 64
6．4．1 編寫思路 64
6．4．2 基于NumPy的k近鄰算法實(shí)現(xiàn) 65
6．4．3 基于sklearn的k近鄰算法實(shí)現(xiàn) 71
6．5 小結(jié) 71
第7章 決策樹 72
7．1 “今天是否要打高爾夫” 72
7．2 決策樹 73
7．3 特征選擇：從信息增益到基尼指數(shù) 75
7．3．1 什么是特征選擇 75
7．3．2 信息增益 75
7．3．3 信息增益比 78
7．3．4 基尼指數(shù) 79
7．4 決策樹模型：從ID3到CART 81
7．4．1 ID3 81
7．4．2 C4．5 85
7．4．3 CART分類樹 86
7．4．4 CART回歸樹 86
7．4．5 CART算法實(shí)現(xiàn) 88
7．5 決策樹剪枝 95
7．6 小結(jié) 96
第8章 神經(jīng)網(wǎng)絡(luò) 97
8．1 無(wú)處不在的圖像識(shí)別 97
8．2 從感知機(jī)說(shuō)起 98
8．2．1 感知機(jī)推導(dǎo) 98
8．2．2 基于NumPy的感知機(jī)實(shí)現(xiàn) 100
8．3 從單層到多層 103
8．3．1 神經(jīng)網(wǎng)絡(luò)與反向傳播 103
8．3．2 基于NumPy的神經(jīng)網(wǎng)絡(luò)搭建 105
8．4 神經(jīng)網(wǎng)絡(luò)的廣闊天地 114
8．5 小結(jié) 114
第9章 支持向量機(jī) 115
9．1 重新從感知機(jī)出發(fā) 115
9．2 線性可分支持向量機(jī) 116
9．2．1 線性可分支持向量機(jī)的原理推導(dǎo) 116
9．2．2 線性可分支持向量機(jī)的算法實(shí)現(xiàn) 120
9．3 近似線性可分支持向量機(jī) 125
9．3．1 近似線性可分支持向量機(jī)的原理推導(dǎo) 125
9．3．2 近似線性可分支持向量機(jī)的算法實(shí)現(xiàn) 128
9．4 線性不可分支持向量機(jī) 132
9．4．1 線性不可分與核技巧 132
9．4．2 SMO算法 135
9．4．3 線性不可分支持向量機(jī)的算法實(shí)現(xiàn) 137
9．5 小結(jié) 142
第 10章 AdaBoost 144
10．1 什么是Boosting 144
10．2 AdaBoost算法的原理推導(dǎo) 144
10．2．1 AdaBoost基本原理 144
10．2．2 AdaBoost與前向分步算法 146
10．3 AdaBoost算法實(shí)現(xiàn) 147
10．3．1 基于NumPy的AdaBoost算法實(shí)現(xiàn) 147
10．3．2 基于sklearn的AdaBoost算法實(shí)現(xiàn) 153
10．4 小結(jié) 153
第 11章 GBDT 154
11．1 從提升樹到梯度提升樹 154
11．2 GBDT算法的原理推導(dǎo) 154
11．3 GBDT算法實(shí)現(xiàn) 157
11．3．1 從零開始實(shí)現(xiàn)一個(gè)GBDT算法系統(tǒng) 157
11．3．2 基于sklearn的GBDT實(shí)現(xiàn) 161
11．4 小結(jié) 162
第 12章 XGBoost 163
12．1 XGBoost：極度梯度提升樹 163
12．2 XGBoost算法的原理推導(dǎo) 164
12．3 XGBoost算法實(shí)現(xiàn) 168
12．3．1 XGBoost實(shí)現(xiàn)：基于GBDT的改進(jìn) 168
12．3．2 原生庫(kù)XGBoost示例 172
12．4 小結(jié) 174
第 13章 LightGBM 175
13．1 XGBoost可優(yōu)化的地方 175
13．2 LightGBM基本原理 175
13．2．1 直方圖算法 175
13．2．2 單邊梯度抽樣 176
13．2．3 互斥特征捆綁算法 177
13．2．4 leaf-wise生長(zhǎng)策略 178
13．3 LightGBM算法實(shí)現(xiàn) 179
13．4 小結(jié) 181
第 14章 CatBoost 182
14．1 機(jī)器學(xué)習(xí)中類別特征的處理方法 182
14．2 CatBoost理論基礎(chǔ) 183
14．2．1 目標(biāo)變量統(tǒng)計(jì) 183
14．2．2 特征組合 184
14．2．3 排序提升算法 184
14．3 CatBoost算法實(shí)現(xiàn) 186
14．4 小結(jié) 188
第 15章 隨機(jī)森林 189
15．1 Bagging：另一種集成學(xué)習(xí)框架 189
15．2 隨機(jī)森林的基本原理 190
15．3 隨機(jī)森林的算法實(shí)現(xiàn) 191
15．3．1 基于NumPy的隨機(jī)森林算法實(shí)現(xiàn) 191
15．3．2 基于sklearn的隨機(jī)森林算法實(shí)現(xiàn) 195
15．4 小結(jié) 196
第 16章 集成學(xué)習(xí)：對(duì)比與調(diào)參 197
16．1 三大Boosting算法對(duì)比 197
16．2 常用的超參數(shù)調(diào)優(yōu)方法 201
16．2．1 網(wǎng)格搜索法 201
16．2．2 隨機(jī)搜索 202
16．2．3 貝葉斯調(diào)參 203
16．3 小結(jié) 205
第 17章 聚類分析與k均值聚類算法 208
17．1 距離度量和相似度度量方式 208
17．2 聚類算法一覽 209
17．3 k均值聚類算法的原理推導(dǎo) 211
17．4 k均值聚類算法實(shí)現(xiàn) 212
17．4．1 基于NumPy的k均值聚類算法實(shí)現(xiàn) 212
17．4．2 基于sklearn的k均值聚類算法實(shí)現(xiàn) 217
17．5 小結(jié) 217
第 18章 主成分分析 218
18．1 PCA算法的原理推導(dǎo) 218
18．2 PCA算法實(shí)現(xiàn) 220
18．2．1 基于NumPy的PCA算法實(shí)現(xiàn) 220
18．2．2 基于sklearn的PCA算法實(shí)現(xiàn) 222
18．3 小結(jié) 223
第 19章 奇異值分解 224
19．1 特征向量與矩陣分解 224
19．2 SVD算法的原理推導(dǎo) 225
19．3 SVD算法實(shí)現(xiàn)與應(yīng)用 226
19．3．1 SVD算法實(shí)現(xiàn) 226
19．3．2 基于SVD的圖像去噪 227
19．4 小結(jié) 231
第 20章 最大信息熵模型 234
20．1 最大信息熵原理 234
20．2 最大信息熵模型的推導(dǎo) 234
20．3 小結(jié) 237
第 21章 貝葉斯概率模型 238
21．1 貝葉斯定理簡(jiǎn)介 238
21．2 樸素貝葉斯 239
21．2．1 樸素貝葉斯的原理推導(dǎo) 239
21．2．2 基于NumPy的樸素貝葉斯實(shí)現(xiàn) 240
21．2．3 基于sklearn的樸素貝葉斯實(shí)現(xiàn) 243
21．3 貝葉斯網(wǎng)絡(luò) 244
21．3．1 貝葉斯網(wǎng)絡(luò)的原理推導(dǎo) 244
21．3．2 借助于pgmpy的貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn) 246
21．4 小結(jié) 249
第 22章 EM算法 250
22．1 極大似然估計(jì) 250
22．2 EM算法的原理推導(dǎo) 251
22．3 EM算法實(shí)現(xiàn) 253
22．4 小結(jié) 255
第 23章 隱馬爾可夫模型 256
23．1 什么是概率圖模型 256
23．2 HMM的定義與相關(guān)概念 257
23．3 HMM的三個(gè)經(jīng)典問(wèn)題 262
23．3．1 概率計(jì)算問(wèn)題與前向 后向算法 262
23．3．2 參數(shù)估計(jì)問(wèn)題與Baum-Welch算法 266
23．3．3 序列標(biāo)注問(wèn)題與維特比算法 269
23．4 小結(jié) 271
第 24章 條件隨機(jī)場(chǎng) 272
24．1 從生活畫像到詞性標(biāo)注問(wèn)題 272
24．2 概率無(wú)向圖 273
24．3 CRF的定義與形式 275
24．4 CRF的三大問(wèn)題 277
24．4．1 CRF的概率計(jì)算問(wèn)題 277
24．4．2 CRF的參數(shù)估計(jì)問(wèn)題 278
24．4．3 CRF的序列標(biāo)注問(wèn)題 279
24．4．4 基于sklearn_crfsuite的CRF代碼實(shí)現(xiàn) 281
24．5 小結(jié) 281
第 25章 馬爾可夫鏈蒙特卡洛方法 283
25．1 前置知識(shí)與相關(guān)概念 283
25．1．1 馬爾可夫鏈 283
25．1．2 蒙特卡洛算法 285
25．2 MCMC的原理推導(dǎo) 287
25．2．1 MCMC采樣 287
25．2．2 Metropolis-Hasting采樣算法 289
25．2．3 Gibbs采樣算法 291
25．3 MCMC與貝葉斯推斷 296
25．4 小結(jié) 296
第 26章 機(jī)器學(xué)習(xí)模型總結(jié) 298
26．1 機(jī)器學(xué)習(xí)模型的歸納與分類 298
26．1．1 單模型與集成模型 300
26．1．2 監(jiān)督模型與無(wú)監(jiān)督模型 301
26．1．3 生成式模型與判別式模型 301
26．1．4 概率模型與非概率模型 302
26．2 本書的不足和未來(lái)展望 303
參考文獻(xiàn) 305