用Python動手學(xué)統(tǒng)計學(xué)

目　錄
第 1章　統(tǒng)計學(xué)基礎(chǔ)
1．1　統(tǒng)計學(xué) 2
1．1．1　統(tǒng)計學(xué)的目標(biāo)①：描述現(xiàn)有數(shù)據(jù) 2
1．1．2　統(tǒng)計學(xué)的目標(biāo)②：估計未知數(shù)據(jù) 3
1．1．3　術(shù)語　樣本與總體 3
1．1．4　1．2節(jié)及之后的內(nèi)容 4
1．2　獲取樣本的過程 5
1．2．1　術(shù)語　隨機變量 5
1．2．2　湖中釣魚的例子 5
1．2．3　從總體中獲取樣本的過程 6
1．2．4　術(shù)語　樣本值 7
1．2．5　術(shù)語　抽樣 7
1．2．6　術(shù)語　簡單隨機抽樣 7
1．2．7　術(shù)語　樣本容量 7
1．2．8　術(shù)語　普查與抽樣調(diào)查 8
1．3　抽樣過程的抽象描述 9
1．3．1　符號　概率 9
1．3．2　術(shù)語　概率分布 9
1．3．3　術(shù)語　服從概率分布 10
1．3．4　術(shù)語　總體分布 10
1．3．5　作為抽樣過程的總體分布 10
1．3．6　無限總體的含義與總體分布 11
1．3．7　總結(jié)：抽樣過程 12
1．3．8　補充　甕模型 13
1．4　描述統(tǒng)計基礎(chǔ) 14
1．4．1　術(shù)語　定量變量 14
1．4．2　術(shù)語　離散變量與連續(xù)變量 14
1．4．3　術(shù)語　分類變量 15
1．4．4　術(shù)語　組、組中值 15
1．4．5　術(shù)語　頻數(shù)、頻數(shù)分布、頻率 15
1．4．6　術(shù)語　累積頻數(shù)、累積頻率 16
1．4．7　術(shù)語　直方圖 17
1．4．8　術(shù)語　統(tǒng)計量 19
1．4．9　術(shù)語　均值 19
1．4．10　術(shù)語　期望值 20
1．4．11　術(shù)語　方差 21
1．4．12　補充　均值、方差與數(shù)據(jù)范圍 21
1．5　總體分布的推斷 23
1．5．1　總體分布與總體的頻率分布 23
1．5．2　更現(xiàn)實一些的湖中釣魚 24
1．5．3　做假設(shè) 24
1．6　概率質(zhì)量函數(shù)與概率密度函數(shù) 27
1．6．1　術(shù)語　概率質(zhì)量函數(shù) 27
1．6．2　術(shù)語　概率密度 27
1．6．3　補充　積分與加法的關(guān)系 28
1．6．4　術(shù)語　概率密度函數(shù) 28
1．6．5　術(shù)語　正態(tài)分布 29
1．6．6　術(shù)語　參數(shù)（概率分布的參數(shù)） 30
1．6．7　補充　各種各樣的概率分布 30
1．6．8　推斷總體分布 =確定分布 +估計參數(shù) 31
1．6．9　把樣本的統(tǒng)計量看作參數(shù)的估計值 32
1．6．10　補充　估計誤差 32
1．6．11　總結(jié)：統(tǒng)計學(xué)基礎(chǔ) 33
1．7　統(tǒng)計量的計算 35
1．7．1　為什么要使用數(shù)學(xué)式 35
1．7．2　符號　樣本 35
1．7．3　符號　均值 36
1．7．4　符號　期望值 36
1．7．5　術(shù)語　總體均值與樣本均值 37
1．7．6　符號　樣本方差 37
1．7．7　術(shù)語　無偏方差 38
1．7．8　為什么樣本方差會偏離 38
1．7．9　術(shù)語　標(biāo)準(zhǔn)差 39
1．8　概率論基礎(chǔ) 41
1．8．1　術(shù)語　集合 41
1．8．2　術(shù)語　元素 41
1．8．3　集合的兩種表示方法 42
1．8．4　術(shù)語　子集 42
1．8．5　術(shù)語　維恩圖 43
1．8．6　術(shù)語　交集與并集 43
1．8．7　術(shù)語　差集 44
1．8．8　術(shù)語　空集 44
1．*8．*9　 術(shù)語 　全集 44
1．8．10　術(shù)語　補集 45
1．8．11　術(shù)語　樣本點、樣本空間、事件 45
1．8．12　術(shù)語　互斥事件 46
1．8．13　通過擲骰子可以聯(lián)想到的各種概率分布 47
1．8．14　概率的公理化定義 47
1．8．15　用頻率解釋概率 48
1．8．16　主觀概率 48
1．8．17　術(shù)語　概率的加法公式 49
1．8．18　術(shù)語　條件概率 49
1．8．19　術(shù)語　概率的乘法公式 50
1．8．20　術(shù)語　獨立事件 50
1．9　隨機變量與概率分布 51
1．9．1　隨機變量與樣本值 51
1．9．2　離散型概率分布與概率質(zhì)量函數(shù) 52
1．9．3　概率密度 52
1．9．4　連續(xù)型概率分布與概率密度函數(shù) 53
1．9．5　概率的總和與概率密度的積分 53
1．9．6　補充　積分與面積的關(guān)系 54
1．9．7　正態(tài)分布的概率密度函數(shù) 56
1．9．8　符號　服從概率分布 56
1．9．9　獨立同分布 57
1．9．10　使用正態(tài)分布的概率密度函數(shù)計算概率的方法 57
1．9．11　使用概率密度計算期望值的方法 57

第 2章　Python與 Jupyter Notebook基礎(chǔ) 59
2．1　環(huán)境搭建 60
2．1．1　什么是 Python 60
2．1．2　Python的版本 60
2．1．3　Python與 Anaconda 60
2．1．4　Jupyter Notebook 61
2．1．5　下載和安裝 61
2．1．6　補充　Python編程術(shù)語 61
2．2　認(rèn)識 Jupyter Notebook 63
2．2．1　啟動 Jupyter Notebook 63
2．2．2　創(chuàng)建新文件 64
2．2．3　執(zhí)行代碼 65
2．2．4　保存執(zhí)行結(jié)果 65
2．2．5　Markdown的用法 65
2．2．6　退出 Jupyter Notebook 66
2．3　Python編程基礎(chǔ) 67
2．3．1　實現(xiàn)　四則運算 67
2．3．2　實現(xiàn)　編寫注釋 68
2．3．3　實現(xiàn)　數(shù)據(jù)類型 69
2．3．4　實現(xiàn)　比較運算符 70
2．3．5　實現(xiàn)　變量 71
2．3．6　實現(xiàn)　函數(shù) 71
2．3．7　實現(xiàn)　類與實例 73
2．3．8　實現(xiàn)　基于 if語句的程序分支 75
2．3．9　實現(xiàn)　基于 for語句的循環(huán) 76
2．3．10　編寫易用程序的竅門 77
2．4　認(rèn)識 numpy與 pandas 78
2．4．1　導(dǎo)入用于分析的功能 78
2．4．2　numpy與 pandas 79
2．4．3　實現(xiàn)　列表 79
2．4．4　術(shù)語　行與列 79
2．4．5　實現(xiàn)　數(shù)組 81
2．4．6　實現(xiàn)　生成等差數(shù)列的方法 82
2．4．7　實現(xiàn)　多種生成數(shù)組的方式 83
2．4．8　實現(xiàn)　切片 84
2．4．9　實現(xiàn)　數(shù)據(jù)幀 85
2．4．10　實現(xiàn)　讀取文件中的數(shù)據(jù) 87
2．4．11　實現(xiàn)　連接數(shù)據(jù)幀 87
2．4．12　實現(xiàn)　數(shù)據(jù)幀的列操作 88
2．4．13　實現(xiàn)　數(shù)據(jù)幀的行操作 90
2．4．14　補充　序列 91
2．4．15　補充　函數(shù)文檔 92

第3 章　使用Python 進行數(shù)據(jù)分析 95
3．*1　使用Python 進行描述統(tǒng)計：單變量 96
3*．1*．1　統(tǒng)計分析與scipy 96
3*．1．*2　單變量數(shù)據(jù)的操作 96
3*．1．*3　 實現(xiàn) 　總和與樣本容量 97
3．*1*．4　 實現(xiàn) 　均值（期望值） 98
3．*1．*5　 實現(xiàn) 　樣本方差 98
3．*1．*6　 實現(xiàn) 　無偏方差 100
3*．1．*7　 實現(xiàn) 　標(biāo)準(zhǔn)差 101
3．*1．*8　 補充 　標(biāo)準(zhǔn)化 101
3．*1．*9　 補充 　其他統(tǒng)計量 103
3*．1．*10　 實現(xiàn) 　scipy．stats 與四分位數(shù) 104
3．2　使用 Python進行描述統(tǒng)計：多變量 106
3．2．1　術(shù)語　整潔數(shù)據(jù) 106
3．2．2　術(shù)語　雜亂數(shù)據(jù) 107
3．2．3　術(shù)語　列聯(lián)表（交叉分類表） 108
3．2．4　多變量數(shù)據(jù)的管理 109
3．2．5　實現(xiàn)　求各分組的統(tǒng)計量 110
3．2．6　實現(xiàn)　列聯(lián)表 111
3．2．7　術(shù)語　協(xié)方差 112
3．2．8　術(shù)語　協(xié)方差矩陣 114
3．2．9　實現(xiàn)　協(xié)方差 114
3．2．10　實現(xiàn)　協(xié)方差矩陣 115
3．2．11　術(shù)語　皮爾遜積矩相關(guān)系數(shù) 116
3．2．12　術(shù)語　相關(guān)矩陣 116
3．2．13　實現(xiàn)　皮爾遜積矩相關(guān)系數(shù) 117
3．2．14　補充　相關(guān)系數(shù)無效的情況 118
3．3　基于 matplotlib、seaborn的數(shù)據(jù)可視化 119
3．3．1　Python中的數(shù)據(jù)可視化 119
3．3．2　實現(xiàn)　數(shù)據(jù)可視化的環(huán)境準(zhǔn)備 119
3．3．3　實現(xiàn)　用 pyplot繪制折線圖 120
3．3．4　實現(xiàn)　用 seaborn和 pyplot繪制折線圖 121
3．3．5　實現(xiàn)　用 seaborn繪制直方圖 122
3．3．6　實現(xiàn)　通過核密度估計將直方圖平滑化 123
3．3．7　實現(xiàn)　兩個變量的直方圖 125
3．3．8　將多變量可視化的代碼 127
3．3．9　實現(xiàn)　箱形圖 128
3．3．10　實現(xiàn)　小提琴圖 129
3．3．11　實現(xiàn)　條形圖 130
3．3．12　實現(xiàn)　散點圖 131
3．3．13　實現(xiàn)　散點圖矩陣 132
3．4　用 Python模擬抽樣 135
3．4．1　環(huán)境準(zhǔn)備 135
3．4．2　抽樣過程 136
3．4．3　在只有 5條魚的湖中抽樣 136
3．4．4　術(shù)語　隨機數(shù) 138
3．4．5　術(shù)語　放回抽樣、不放回抽樣 138
3．4．6　從魚較多的湖中抽樣 139
3．4．7　總體分布 140
3．4．8　對比總體分布和正態(tài)分布的概率密度函數(shù) 141
3．4．9　抽樣過程的抽象描述 143
3．4．10　補充　有限總體校正 144
3．4．11　補充　假設(shè)總體服從正態(tài)分布是否恰當(dāng) 145
3．5　樣本統(tǒng)計量的性質(zhì) 146
3．5．1　術(shù)語　試驗 146
3．5．2　術(shù)語　樣本分布 146
3．5．3　導(dǎo)入所需的庫 147
3．5．4　多次計算樣本均值 148
3．5．5　樣本均值的均值與總體均值相近 149
3．5．6　樣本容量越大，樣本均值越接近總體均值 150
3．5．7　定義用來計算樣本均值的函數(shù) 152
3．5．8　不同樣本容量所得的樣本均值的分布 153
3．5．9　樣本均值的標(biāo)準(zhǔn)差小于總體標(biāo)準(zhǔn)差 154
3．5．10　術(shù)語　標(biāo)準(zhǔn)誤差 156
3．5．11　標(biāo)準(zhǔn)誤差的直觀解釋 158
3．5．12　樣本方差的均值偏離總體方差 158
3．5．13　采用無偏方差消除偏離 159
3．5．14　樣本容量越大，其無偏方差越接近總體方差 160
3．5．15　術(shù)語　無偏性 161
3．5．16　術(shù)語　一致性 161
3．5．17　較好的參數(shù)估計量 162
3．5．18　補充　大數(shù)定律 162
3．5．19　補充　中心極限定理 162
3．6　正態(tài)分布及其應(yīng)用 165
3．6．1　導(dǎo)入函數(shù)庫 165
3．6．2　實現(xiàn)　概率密度 166
3．6．3　樣本小于等于某值的比例 168
3．6．4　術(shù)語　累積分布函數(shù) 168
3．6．5　實現(xiàn)　累積分布函數(shù) 169
3．6．6　術(shù)語　左側(cè)概率與百分位數(shù) 170
3．6．7　實現(xiàn)　百分位數(shù) 170
3．6．8　術(shù)語　標(biāo)準(zhǔn)正態(tài)分布 171
3．6．9　術(shù)語　t值 171
3．6．10　t值的樣本分布 172
3．6．11　術(shù)語　t分布 174
3．6．12　實現(xiàn)　t分布 175
3．7　參數(shù)估計 177
3．7．1　本節(jié)任務(wù) 177
3．7．2　環(huán)境準(zhǔn)備 177
3．7．3　術(shù)語　點估計 178
3．7．4　實現(xiàn)　點估計 179
3．7．5　術(shù)語　區(qū)間估計 179
3．7．6　術(shù)語　置信水平、置信區(qū)間 180
3．7．7　術(shù)語　置信界限 180
3．7．8　置信區(qū)間的計算 180
3．7．9　實現(xiàn)　區(qū)間估計 180
3．7．10　補充　置信區(qū)間的求解細節(jié) 181
3．7．11　決定置信區(qū)間大小的因素 183
3．7．12　區(qū)間估計結(jié)果的解讀 184
3．8　假設(shè)檢驗 187
3．8．1　術(shù)語　假設(shè)檢驗 187
3．8．2　單樣本 t檢驗 187
3．8．3　顯著性差異 188
3．8．4　t檢驗的直觀解釋 188
3．8．5　均值差異大不代表存在顯著性差異 189
3．8．6　t值 189
3．8．7　假設(shè)檢驗的結(jié)構(gòu)：零假設(shè)與備擇假設(shè) 190
3．8．8　術(shù)語　p值 191
3．8．9　術(shù)語　顯著性水平 191
3．8．10　t檢驗與 t分布的關(guān)系 191
3．8．11　術(shù)語　單側(cè)檢驗與雙側(cè)檢驗 192
3．8．12　p值的計算 192
3．8．13　t檢驗的實現(xiàn)：環(huán)境準(zhǔn)備 193
3．8．14　t檢驗的實現(xiàn)：計算 t值 194
3．8．15　t檢驗的實現(xiàn)：計算 p值 195
3．8．16　通過模擬實驗計算 p值 196
3．9　均值差的檢驗 198
3．9．1　雙樣本 t檢驗 198
3．9．2　配對樣本 t檢驗 198
3．9．3　環(huán)境準(zhǔn)備 199
3．9．4　實現(xiàn)　配對樣本 t檢驗 200
3．9．5　獨立樣本 t檢驗 201
3．9．6　實現(xiàn)　獨立樣本 t檢驗 202
3．9．7　補充　獨立樣本 t檢驗（同方差） 203
3．9．8　補充　p值操縱 203
3．10　列聯(lián)表檢驗 205
3．10．1　使用列聯(lián)表的好處 205
3．10．2　本節(jié)例題 206
3．10．3　計算期望頻數(shù) 207
3．10．4　計算觀測頻數(shù)和期望頻數(shù)的差 208
3．10．5　實現(xiàn)　計算 p值 209
3．10．6　實現(xiàn)　列聯(lián)表檢驗 209
3．11　檢驗結(jié)果的解讀 211
3．11．1　p值小于 0．05時的表述方法 211
3．11．2　p值大于 0．05時的表述方法 211
3．11．3　關(guān)于假設(shè)檢驗的常見誤區(qū) 212
3．11．4　p值小不代表差異大 212
3．11．5　p值大于 0．05不代表沒有差異 213
3．11．6　術(shù)語　第 一類錯誤與第二類錯誤 213
3．11．7　術(shù)語　假設(shè)檢驗的非對稱性 213
3．11．8　在檢驗之前確定顯著性水平 214
3．11．9　補充　統(tǒng)計模型的選擇 214
3．11．10　假設(shè)檢驗有什么用 214
3．11．11　假設(shè)是否正確 215

第 4章　統(tǒng)計模型基礎(chǔ) 217
4．1　統(tǒng)計模型 218
4．1．1　術(shù)語　模型 218
4．1．2　術(shù)語　建模 218
4．1．3　模型有什么用 218
4．1．4　簡化復(fù)雜的世界 219
4．1．5　從某個角度觀察復(fù)雜的現(xiàn)象 219
4．1．6　術(shù)語　數(shù)學(xué)模型 220
4．1．7　術(shù)語　概率模型 220
4．1．8　術(shù)語　統(tǒng)計模型 221
4．1．9　概率分布與統(tǒng)計模型 221
4．1．10　基于統(tǒng)計模型的預(yù)測 222
4．1．11　統(tǒng)計模型與經(jīng)典數(shù)據(jù)分析的對比 222
4．1．12　統(tǒng)計模型應(yīng)用 223
4．2　建模方法 224
4．2．1　本節(jié)例題 224
4．2．2　術(shù)語　響應(yīng)變量和解釋變量 224
4．2．3　術(shù)語　參數(shù)模型 224
4．2．4　術(shù)語　非參數(shù)模型 224
4．2．5　術(shù)語　線性模型 224
4．2．6　術(shù)語　系數(shù)與權(quán)重 226
4．2．7　建模 = 模型選擇 + 參數(shù)估計 227
4．2．8　線性模型的建模方法 227
4．2．9　術(shù)語　變量選擇 228
4．2．10　術(shù)語　空模型 228
4．2．11　通過假設(shè)檢驗選擇變量 229
4．2．12　通過信息量準(zhǔn)則選擇變量 229
4．2．13　模型評估 230
4．2．14　補充　在建模之前確定分析目的 230
4．3　數(shù)據(jù)表示與模型名稱 231
4．3．1　術(shù)語　正態(tài)線性模型 231
4．3．2　術(shù)語　回歸分析（經(jīng)典術(shù)語） 231
4．3．3　術(shù)語　多元回歸分析（經(jīng)典術(shù)語） 232
4．3．4　術(shù)語　方差分析（經(jīng)典術(shù)語） 232
4．3．5　術(shù)語　廣義線性模型 232
4．3．6　補充　機器學(xué)習(xí)中的叫法 232
4．4　參數(shù)估計：最大似然估計 234
4．4．1　為什么要學(xué)習(xí)參數(shù)估計 234
4．4．2　術(shù)語　似然 234
4．4．3　術(shù)語　似然函數(shù) 235
4．4．4　術(shù)語　對數(shù)似然 235
4．4．5　術(shù)語　對數(shù)的性質(zhì) 235
4．4．6　術(shù)語　最大似然法 238
4．4．7　術(shù)語　最大似然估計量 238
4．4．8　術(shù)語　最大對數(shù)似然 239
4．4．9　服從正態(tài)分布的數(shù)據(jù)的似然 239
4．4．10　術(shù)語　多余參數(shù) 239
4．4．11　正態(tài)線性模型的似然 240
4．4．12　補充　最大似然法計算舉例 241
4．4．13　補充　最大似然估計量的性質(zhì) 243
4．5　參數(shù)估計：最小化損失 244
4．5．1　術(shù)語　損失函數(shù) 244
4．5．2　術(shù)語　殘差 244
4．5．3　為什么不把殘差之和作為損失指標(biāo) 245
4．5．4　術(shù)語　殘差平方和 246
4．5．5　術(shù)語　最小二乘法 247
4．5．6　補充　最小二乘法與最大似然法的關(guān)系 247
4．5．7　術(shù)語　誤差函數(shù) 248
4．5．8　多種損失函數(shù) 248
4．6　預(yù)測精度的評估與變量選擇 249
4．6．1　術(shù)語　擬合精度與預(yù)測精度 249
4．6．2　術(shù)語　過擬合 249
4．6．3　變量選擇的意義 250
4．6．4　術(shù)語　泛化誤差 250
4．6．5　術(shù)語　訓(xùn)練集與測試集 250
4．6．6　術(shù)語　交叉驗證 250
4．6．7　術(shù)語　赤池信息量準(zhǔn)則 251
4．6．8　術(shù)語　相對熵 252
4．6．9　最小化相對熵與平均對數(shù)似然 252
4．6．10　AIC與平均對數(shù)似然中的偏離 253
4．6．11　AIC與交叉驗證 254
4．6．12　使用 AIC進行變量選擇 254
4．6．13　用變量選擇代替假設(shè)檢驗 254
4．6．14　使用假設(shè)檢驗還是 AIC 255

第 5章　正態(tài)線性模型 257
5．1　含有單個連續(xù)型解釋變量的模型（一元回歸） 258
5．1．1　環(huán)境準(zhǔn)備 258
5．1．2　實現(xiàn)　讀入數(shù)據(jù)并繪制其圖形 259
5．1．3　建模 260
5．1．4　實現(xiàn)　使用 statsmodels實現(xiàn)模型化 261
5．1．5　實現(xiàn)　打印估計結(jié)果并檢驗系數(shù) 261
5．1．6　關(guān)于 summary函數(shù)的輸出的說明 263
5．1．7　實現(xiàn)　使用 AIC進行模型選擇 264
5．1．8　術(shù)語　回歸直線 266
5．1．9　實現(xiàn)　用 seaborn繪制回歸直線 266
5．1．10　實現(xiàn)　使用模型進行預(yù)測 267
5．1．11　實現(xiàn)　獲取殘差 269
5．1．12　術(shù)語　決定系數(shù) 270
5．1．13　實現(xiàn)　決定系數(shù) 270
5．1．14　術(shù)語　修正決定系數(shù) 272
5．1．15　實現(xiàn)　修正決定系數(shù) 272
5．1．16　實現(xiàn)　殘差的直方圖和散點圖 273
5．1．17　術(shù)語　分位圖 274
5．1．18　實現(xiàn)　分位圖 275
5．1．19　根據(jù) summary函數(shù)的輸出分析殘差 277
5．2　方差分析 279
5．2．1　本節(jié)例題 279
5．2．2　什么時候應(yīng)該使用方差分析 279
5．2．3　術(shù)語　多重假設(shè)檢驗 280
5．2．4　方差分析的直觀理解：F比 280
5．2．5　顯著性差異與小提琴圖 281
5．2．6　方差分析的直觀理解：分離效應(yīng)和誤差 283
5．2．7　術(shù)語　組間差異與組內(nèi)差異 283
5．2．8　環(huán)境準(zhǔn)備 284
5．2．9　生成數(shù)據(jù)并可視化 284
5．2．10　實現(xiàn)　方差分析①：計算組間偏差平方和與組內(nèi)偏差平方和 286
5．2．11　實現(xiàn)　方差分析②：計算組間方差與組內(nèi)方差 287
5．2．12　實現(xiàn)　方差分析③：計算 p值 288
5．2．13　解釋變量為分類變量的正態(tài)線性模型 289
5．2．14　術(shù)語　虛擬變量 289
5．2．15　實現(xiàn)　statsmodels中的方差分析 290
5．2．16　術(shù)語　方差分析表 290
5．2．17　模型系數(shù)的含義 290
5．2．18　使用模型分離效應(yīng)和誤差 291
5．2．19　回歸模型中的方差分析 292
5．3　含有多個解釋變量的模型 295
5．3．1　環(huán)境準(zhǔn)備 295
5．3．2　實現(xiàn)　數(shù)據(jù)可視化 296
5．3．3　錯誤的分析：建立只有 1個變量的模型 297
5．3．4　分析解釋變量之間的關(guān)系 299
5．3．5　實現(xiàn)　多解釋變量的模型 301
5．3．6　錯誤的分析：使用普通方差分析 301
5．3．7　實現(xiàn)　回歸系數(shù)的 t檢驗 303
5．3．8　術(shù)語　Type II ANOVA 304
5．3．9　模型選擇與方差分析 304
5．3．10　Type II ANOVA與調(diào)整平方和 307
5．3．11　實現(xiàn)　Type II ANOVA 308
5．3．12　Type II ANOVA的含義 310
5．3．13　實現(xiàn)　變量選擇與模型選擇 310
5．3．14　使用 AIC進行變量選擇 311
5．3．15　補充　多重共線性 312

第 6章　廣義線性模型 313
6．1　各種概率分布 314
6．1．1　術(shù)語　二值隨機變量 314
6．1．2　術(shù)語　伯努利試驗 314
6．1．3　術(shù)語　成功概率 315
6．1．4　術(shù)語　伯努利分布 315
6．1．5　術(shù)語　二項分布 315
6．1．6　二項分布的應(yīng)用 316
6．1．7　二項分布的概率質(zhì)量函數(shù) 316
6．1．8　環(huán)境準(zhǔn)備 317
6．1．9　實現(xiàn)　二項分布 318
6．1．10　術(shù)語　泊松分布 319
6．1．11　泊松分布的應(yīng)用 319
6．1．12　泊松分布的概率質(zhì)量函數(shù) 320
6．1．13　補充　二項分布與泊松分布的關(guān)系 320
6．1．14　實現(xiàn)　泊松分布 320
6．1．15　補充　其他概率分布 323
6．1．16　補充　指數(shù)分布族 323
6．2　廣義線性模型基礎(chǔ) 325
6．2．1　廣義線性模型的組成 325
6．2．2　概率分布 326
6．2．3　術(shù)語　線性預(yù)測算子 326
6．2．4　術(shù)語　聯(lián)系函數(shù) 326
6．2．5　聯(lián)系函數(shù)與概率分布的關(guān)系 327
6．2．6　廣義線性模型的參數(shù)估計 328
6．2．7　補充　廣義線性模型的檢驗方法 328
6．3　logistic回歸 329
6．3．1　術(shù)語　logistic回歸 329
6．3．2　本節(jié)例題 329
6．3．3　二值分類問題 329
6．3．4　術(shù)語　logit函數(shù) 330
6．3．5　術(shù)語　反函數(shù) 330
6．3．6　術(shù)語　logistic函數(shù) 330
6．3．7　logistic函數(shù)的性質(zhì) 331
6．3．8　logistic回歸的推導(dǎo) 331
6．3．9　logistic回歸的似然函數(shù) 332
6．3．10　環(huán)境準(zhǔn)備 333
6．3．11　實現(xiàn)　讀取數(shù)據(jù)并可視化 334
6．3．12　實現(xiàn)　logistic回歸 335
6．3．13　實現(xiàn)　logistic 回歸的結(jié)果 336
6．3．14　實現(xiàn)　模型選擇 337
6．3．15　實現(xiàn)　回歸曲線 337
6．3．16　實現(xiàn)　預(yù)測成功概率 338
6．3．17　術(shù)語　優(yōu)勢 339
6．3．18　術(shù)語　優(yōu)勢比 340
6．3．19　logistic回歸的系數(shù)與優(yōu)勢比的關(guān)系 340
6．4　廣義線性模型的評估 342
6．4．1　環(huán)境準(zhǔn)備 342
6．4．2　術(shù)語　皮爾遜殘差 343
6．4．3　皮爾遜殘差的含義 343
6．4．4　實現(xiàn)　皮爾遜殘差 344
6．4．5　術(shù)語　模型偏差 345
6．4．6　模型偏差的含義 345
6．4．7　補充　模型偏差與似然比檢驗 346
6．4．8　術(shù)語　偏差殘差 346
6．4．9　實現(xiàn)　偏差殘差 346
6．4．10　補充　交叉熵誤差 347
6．5　泊松回歸 349
6．5．1　術(shù)語　泊松回歸 349
6．5．2　本節(jié)例題 349
6．5．3　泊松回歸的推導(dǎo) 349
6．5．4　環(huán)境準(zhǔn)備 350
6．5．5　實現(xiàn)　泊松回歸 351
6．5．6　實現(xiàn)　模型選擇 352
6．5．7　實現(xiàn)　回歸曲線 352
6．5．8　回歸系數(shù)的含義 353

第 7章　統(tǒng)計學(xué)與機器學(xué)習(xí) 355
7．1　機器學(xué)習(xí)基礎(chǔ) 356
7．1．1　術(shù)語　機器學(xué)習(xí) 356
7．1．2　術(shù)語　有監(jiān)督學(xué)習(xí) 356
7．1．3　術(shù)語　無監(jiān)督學(xué)習(xí) 357
7．1．4　補充　強化學(xué)習(xí) 357
7．1．5　補充　規(guī)則學(xué)習(xí) 357
7．1．6　統(tǒng)計學(xué)與機器學(xué)習(xí)無法徹底分離 357
7．1．7　統(tǒng)計學(xué)注重過程，機器學(xué)習(xí)注重結(jié)果 358
7．2　正則化、Ridge回歸與 Lasso回歸 359
7．2．1　術(shù)語　正則化 359
7．2．2　術(shù)語　Ridge回歸 359
7．2．3　術(shù)語　Lasso回歸 361
7．2．4　確定正則化強度 361
7．2．5　將解釋變量標(biāo)準(zhǔn)化 361
7．2．6　Ridge回歸與 Lasso回歸的估計結(jié)果對比 362
7．2．7　變量選擇與正則化的對比 363
7．2．8　正則化的意義 363
7．3　Python中的 Ridge回歸與 Lasso回歸 365
7．3．1　scikit．learn 365
7．3．2　環(huán)境準(zhǔn)備 365
7．3．3　實現(xiàn)　標(biāo)準(zhǔn)化 366
7．3．4　定義響應(yīng)變量 368
7．3．5　實現(xiàn)　普通最小二乘法 369
7．3．6　實現(xiàn)　使用 sklearn實現(xiàn)線性回歸 370
7．3．7　實現(xiàn)　Ridge回歸：懲罰指標(biāo)的影響 370
7．3．8　實現(xiàn)　Ridge回歸：確定最佳正則化強度 373
7．3．9　實現(xiàn)　Lasso回歸：懲罰指標(biāo)的影響 374
7．3．10　實現(xiàn)　Lasso回歸：確定最佳正則化強度 376
7．4　線性模型與神經(jīng)網(wǎng)絡(luò) 378
7．4．1　本節(jié)例題 378
7．4．2　術(shù)語　輸入向量、目標(biāo)向量、權(quán)重、偏置 378
7．4．3　術(shù)語　單層感知機 379
7．4．4　術(shù)語　激活函數(shù) 379
7．4．5　從線性模型到神經(jīng)網(wǎng)絡(luò) 380
7．4．6　術(shù)語　隱藏層 381
7．4．7　術(shù)語　神經(jīng)網(wǎng)絡(luò) 381
7．4．8　神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 381
7．4．9　神經(jīng)網(wǎng)絡(luò)中的 L2正則化 382
7．4．10　環(huán)境準(zhǔn)備 382
7．4．11　實現(xiàn)　讀入數(shù)據(jù)并整理 383
7．4．12　實現(xiàn)　logistic 回歸 385
7．4．13　實現(xiàn)　標(biāo)準(zhǔn)化 387
7．4．14　實現(xiàn)　神經(jīng)網(wǎng)絡(luò) 388
7．4．15　線性模型與神經(jīng)網(wǎng)絡(luò)的優(yōu)點 389
7．5　擴展內(nèi)容 390
7．5．1　數(shù)學(xué)原理 390
7．5．2　經(jīng)典統(tǒng)計學(xué) 390
7．5．3　統(tǒng)計模型 391
7．5．4　機器學(xué)習(xí) 391
7．5．5　模型評估 392
7．5．6　數(shù)據(jù)科學(xué) 392

參考文獻 394