機器學習中的統(tǒng)計思維（Python實現(xiàn)）

目錄

緒論..................................................................................................................1

0.1本書講什么，初衷是什么...................................................................... 1

0.2貫穿本書的兩大思維模式...................................................................... 3

0.2.1提問的思維方式 ........................................................................ 3

0.2.2發(fā)散的思維方式 ........................................................................ 4

0.3這本書決定它還想要這樣...................................................................... 5

0.3.1第一性原理 ............................................................................... 5

0.3.2奧卡姆剃刀原理 ........................................................................ 7

0.4如何使用本書 ...................................................................................... 8

第 1章步入監(jiān)督學習之旅 .............................................................................11

1.1機器學習從數(shù)據(jù)開始 .......................................................................... 11

1.2監(jiān)督學習是什么 ................................................................................. 14

1.2.1基本術語 ................................................................................ 16

1.2.2學習過程如同一場科學推理...................................................... 17

1.3如何評價模型的好壞 .......................................................................... 21

1.3.1評價模型的量化指標................................................................ 21

1.3.2擬合能力 ................................................................................ 24

1.3.3泛化能力 ................................................................................ 24

1.4損失最小化思想 ................................................................................. 25

1.5怎樣理解模型的性能：方差-偏差折中思想 ........................................... 27

1.6如何選擇最優(yōu)模型.............................................................................. 28

1.6.1正則化：對模型復雜程度加以懲罰............................................ 28

1.6.2交叉驗證：樣本的多次重復利用 ............................................... 30

1.7本章小結 ........................................................................................... 31

1.8習題.................................................................................................. 31

第 2章線性回歸模型 ....................................................................................33

2.1探尋線性回歸模型.............................................................................. 33

2.1.1諾貝爾獎中的線性回歸模型...................................................... 33

2.1.2回歸模型的誕生 ...................................................................... 34

2.1.3線性回歸模型結構 ................................................................... 38

2.2最小二乘法........................................................................................ 39

2.2.1回歸模型用哪種損失：平方損失 ............................................... 40

機器學習中的統(tǒng)計思維 (Python實現(xiàn))
2.2.2如何估計模型參數(shù)：最小二乘法 ............................................... 41

2.3線性回歸模型的預測 .......................................................................... 44

2.3.1一元線性回歸模型的預測 ......................................................... 44

2.3.2多元線性回歸模型的預測 ......................................................... 48

2.4拓展部分：嶺回歸與套索回歸 ............................................................. 49

2.4.1嶺回歸.................................................................................... 50

2.4.2套索回歸 ................................................................................ 51

2.5案例分析——共享單車數(shù)據(jù)集 ............................................................. 53

2.6本章小結 ........................................................................................... 56

2.7習題.................................................................................................. 57

第 3章 K近鄰模型 ......................................................................................59

3.1鄰友思想 ........................................................................................... 59

3.2 K近鄰算法....................................................................................... 60

3.2.1聚合思想 ................................................................................ 60

3.2.2 K近鄰模型的具體算法............................................................ 61

3.2.3 K近鄰算法的三要素 ............................................................... 63

3.2.4 K近鄰算法的可視化 ............................................................... 67

3.3最近鄰分類器的誤差率 ....................................................................... 67

3.4 k維樹............................................................................................... 70

3.4.1 k維樹的構建 .......................................................................... 70

3.4.2 k維樹的搜索 .......................................................................... 73

3.5拓展部分：距離度量學習的 K近鄰分類器 .......................................... 76

3.6案例分析——鶯尾花數(shù)據(jù)集 ................................................................ 79

3.7本章小結 ........................................................................................... 83

3.8習題.................................................................................................. 83

第 4章貝葉斯推斷 .......................................................................................85

4.1貝葉斯思想........................................................................................ 85

4.1.1什么是概率 ............................................................................. 86

4.1.2從概率到條件概率 ................................................................... 91

4.1.3貝葉斯定理 ............................................................................. 93

4.2貝葉斯分類器 .................................................................................... 97

4.2.1貝葉斯分類 ............................................................................. 97

4.2.2樸素貝葉斯分類 ...................................................................... 98

4.3如何訓練貝葉斯分類器 ......................................................................103

4.3.1極大似然估計：概率最大化思想 ..............................................104

4.3.2貝葉斯估計：貝葉斯思想 ........................................................111

4.4常用的樸素貝葉斯分類器...................................................................115

4.4.1離散屬性變量下的樸素貝葉斯分類器 .......................................115

4.4.2連續(xù)特征變量下的樸素貝葉斯分類器 .......................................115

4.5拓展部分 ..........................................................................................116

4.5.1半樸素貝葉斯.........................................................................116

目錄

4.5.2貝葉斯網(wǎng)絡 ............................................................................119

4.6案例分析——蘑菇數(shù)據(jù)集 ...................................................................122

4.7本章小結 ..........................................................................................124

4.8習題.................................................................................................124

4.9閱讀時間：貝葉斯思想的起源 ............................................................125

第 5章邏輯回歸模型 .................................................................................. 131

5.1一切始于邏輯函數(shù).............................................................................131

5.1.1邏輯函數(shù) ...............................................................................131

5.1.2邏輯斯諦分布.........................................................................133

5.1.3邏輯回歸 ...............................................................................134

5.2邏輯回歸模型的學習 .........................................................................136

5.2.1加權最小二乘法 .....................................................................136

5.2.2極大似然法 ............................................................................139

5.3邏輯回歸模型的學習算法...................................................................141

5.3.1梯度下降法 ............................................................................141

5.3.2牛頓法...................................................................................143

5.4拓展部分 ..........................................................................................144

5.4.1拓展 1：多分類邏輯回歸模型 ..................................................144

5.4.2拓展 2：非線性邏輯回歸模型 ..................................................147

5.5案例分析——離職數(shù)據(jù)集 ...................................................................147

5.6本章小結 ..........................................................................................149

5.7習題.................................................................................................150

5.8閱讀時間：牛頓法是牛頓提出的嗎 .....................................................150

第 6章最大熵模型 ..................................................................................... 153

6.1問世間熵為何物 ................................................................................153

6.1.1熱力學熵 ...............................................................................153

6.1.2信息熵...................................................................................155

6.2最大熵思想.......................................................................................156

6.2.1離散隨機變量的分布...............................................................156

6.2.2連續(xù)隨機變量的分布...............................................................160

6.3最大熵模型的學習問題 ......................................................................163

6.3.1最大熵模型的定義 ..................................................................163

6.3.2最大熵模型的原始問題與對偶問題...........................................167

6.3.3最大熵模型的學習 ..................................................................169

6.4模型學習的最優(yōu)化算法 ......................................................................173

6.4.1最速梯度下降法 .....................................................................177

6.4.2擬牛頓法：DFP算法和 BFGS算法 ........................................178

6.4.3改進的迭代尺度法 ..................................................................179

6.5案例分析——湯圓小例子 ...................................................................183

6.6本章小結 ..........................................................................................185

6.7習題.................................................................................................186

機器學習中的統(tǒng)計思維 (Python實現(xiàn))
6.8閱讀時間：奇妙的對數(shù) ......................................................................187

第 7章決策樹模型 ..................................................................................... 191

7.1決策樹中蘊含的基本思想...................................................................191

7.1.1什么是決策樹.........................................................................191

7.1.2決策樹的基本思想 ..................................................................195

7.2決策樹的特征選擇.............................................................................195

7.2.1錯分類誤差 ............................................................................195

7.2.2基于熵的信息增益和信息增益比 ..............................................196

7.2.3基尼不純度 ............................................................................199

7.2.4比較錯分類誤差、信息熵和基尼不純度 ....................................201

7.3決策樹的生成算法.............................................................................201

7.3.1 ID3算法................................................................................202

7.3.2 C4.5算法 ..............................................................................205

7.3.3 CART算法............................................................................205

7.4決策樹的剪枝過程.............................................................................211

7.4.1預剪枝...................................................................................211

7.4.2后剪枝...................................................................................213

7.5拓展部分：隨機森林 .........................................................................223

7.6案例分析——帕爾默企鵝數(shù)據(jù)集 .........................................................223

7.7本章小結 ..........................................................................................226

7.8習題.................................................................................................226

7.9閱讀時間：經(jīng)濟學中的基尼指數(shù).........................................................227

第 8章感知機模型 ..................................................................................... 231

8.1感知機制——從邏輯回歸到感知機 .....................................................231

8.2感知機的學習 ...................................................................................233

8.3感知機的優(yōu)化算法.............................................................................234

8.3.1原始形式算法.........................................................................235

8.3.2對偶形式算法.........................................................................239

8.4案例分析——鶯尾花數(shù)據(jù)集 ...............................................................241

8.5本章小結 ..........................................................................................243

8.6習題.................................................................................................243

第 9章支持向量機 ..................................................................................... 245

9.1從感知機到支持向量機 ......................................................................245

9.2線性可分支持向量機 .........................................................................248

9.2.1線性可分支持向量機與最大間隔算法 .......................................248

9.2.2對偶問題與硬間隔算法 ...........................................................254

9.3線性支持向量機 ................................................................................258

9.3.1線性支持向量機的學習問題.....................................................259

9.3.2對偶問題與軟間隔算法 ...........................................................260

9.3.3線性支持向量機之合頁損失.....................................................263

9.4非線性支持向量機.............................................................................265

目錄

9.4.1核變換的根本——核函數(shù) ........................................................266

9.4.2非線性可分支持向量機 ...........................................................277

9.4.3非線性支持向量機 ..................................................................278

9.5 SMO優(yōu)化方法 .................................................................................279

9.5.1“失敗的”坐標下降法 ...........................................................279

9.5.2“成功的”SMO算法.............................................................280

9.6案例分析——電離層數(shù)據(jù)集 ...............................................................287

9.7本章小結 ..........................................................................................288

9.8習題.................................................................................................289

第 10章 EM算法 ...................................................................................... 291

10.1極大似然法與 EM算法 ...................................................................291

10.1.1具有缺失數(shù)據(jù)的豆花小例子..................................................291

10.1.2具有隱變量的硬幣盲盒例子..................................................295

10.2 EM算法的迭代過程........................................................................298

10.2.1 EM算法中的兩部曲 ............................................................298

10.2.2 EM算法的合理性 ...............................................................302

10.3 EM算法的應用 ..............................................................................305

10.3.1高斯混合模型......................................................................305

10.3.2隱馬爾可夫模型 ..................................................................309

10.4本章小結 ........................................................................................316

10.5習題 ...............................................................................................317

第 11章提升方法....................................................................................... 319

11.1提升方法（Boosting）是一種集成學習方法.......................................319

11.1.1什么是集成學習 ..................................................................319

11.1.2強可學習與弱可學習............................................................321

11.2起步于 AdaBoost算法 ....................................................................323

11.2.1兩大內(nèi)核：前向回歸和可加模型 ...........................................323

11.2.2 AdaBoost的前向分步算法...................................................324

11.2.3 AdaBoost分類算法 .............................................................326

11.2.4 AdaBoost分類算法的訓練誤差 ............................................333

11.3提升樹和 GBDT算法 .....................................................................339

11.3.1回歸提升樹 .........................................................................339

11.3.2 GDBT算法 ........................................................................342

11.4拓展部分：XGBoost算法................................................................344

11.5案例分析——波士頓房價數(shù)據(jù)集 .......................................................346

11.6本章小結 ........................................................................................347

11.7習題 ...............................................................................................348

參考文獻 ....................................................................................................... 349