Python數(shù)據(jù)分析：零基礎(chǔ)入門到實(shí)戰(zhàn)開發(fā)

目　錄
第1章　什么是數(shù)據(jù)分析
1.1　Python開發(fā)環(huán)境 1
1.2　數(shù)據(jù)分析的前世今生 2
1.2.1　數(shù)據(jù)分析歷史 2
1.2.2　數(shù)據(jù)分析的現(xiàn)實(shí)應(yīng)用 2
1.2.3　數(shù)據(jù)分析的技能需求 3
1.3　數(shù)據(jù)分析流程 4
1.3.1　數(shù)據(jù)導(dǎo)入、清洗 5
1.3.2　單變量分析 6
1.3.3　多變量分析 6
1.3.4　選擇模型 6
1.3.5　估計(jì)與假設(shè)檢驗(yàn) 7
1.3.6　可視化 8
1.4　數(shù)據(jù)分析經(jīng)典案例 8
1.4.1　犯罪率的下降與法律條文的生成 8
1.4.2　利用數(shù)據(jù)觀察校園作弊行為 9
1.4.3　靠統(tǒng)計(jì)學(xué)致富的數(shù)學(xué)家 11
1.5　數(shù)據(jù)分析的第一個(gè)實(shí)戰(zhàn) 12
1.5.1　單變量探索 12
1.5.2　多變量分析 16
1.5.3　選擇模型 21
1.5.4　假設(shè)檢驗(yàn) 25
第2章　Python知識(shí)進(jìn)階
2.1　Python語(yǔ)言 28
2.1.1　Python的歷史 29
2.1.2　Python的特色 29
2.2　Python技巧與進(jìn)階 31
2.2.1　數(shù)據(jù)類型方面的技巧 31
2.2.2　數(shù)字方面的使用技巧 32
2.2.3　枚舉 34
2.2.4　匿名函數(shù)的應(yīng)用 35
2.2.5　裝飾器：語(yǔ)法糖 37
2.2.6　列表生成式 39
2.2.7　迭代器與生成器 39
2.3　Python編程的易錯(cuò)點(diǎn) 41
2.3.1　全局變量與局部變量 42
2.3.2　閉包 43
2.3.3　函數(shù)傳參 44
2.3.4　列表和數(shù)組的區(qū)別 45
2.3.5　變量和按引用傳遞 45
2.3.6　None：一個(gè)獨(dú)特的類型 47
2.4　小結(jié) 48
第3章　NumPy的入門與進(jìn)階
3.1　ndarray數(shù)組 49
3.1.1　ndarray數(shù)組的創(chuàng)建 49
3.1.2　C和Fortran順序 51
3.2　索引 51
3.2.1　基本索引 51
3.2.2　高維數(shù)組的索引 52
3.2.3　高階索引 54
3.3　廣播機(jī)制 56
3.4　NumPy數(shù)組的運(yùn)算 58
3.4.1　NumPy的數(shù)值計(jì)算 58
3.4.2　比較與排序 59
3.4.3　NumPy的數(shù)組計(jì)算 60
3.4.4　ufunc高級(jí)應(yīng)用 61
3.4.5　NumPy初等函數(shù)與math內(nèi)置初等函數(shù)的區(qū)別 63
3.4.6　NumPy中的多項(xiàng)式函數(shù) 64
3.4.7　其他功能函數(shù) 65
第4章　pandas的入門與進(jìn)階
4.1　pandas的數(shù)據(jù)結(jié)構(gòu) 66
4.1.1　Series的創(chuàng)建 67
4.1.2　Series的數(shù)值計(jì)算 68
4.1.3　DataFrame的創(chuàng)建 69
4.1.4　DataFrame的基本屬性 70
4.2　pandas數(shù)據(jù)結(jié)構(gòu)的基本操作 72
4.2.1　轉(zhuǎn)置 72
4.2.2　索引 73
4.2.3　DataFrame的關(guān)系型操作 75
4.2.4　DataFrame的畫圖操作 76
4.2.5　查看數(shù)據(jù) 80
4.3　pandas數(shù)據(jù)結(jié)構(gòu)的進(jìn)階操作 81
4.3.1　數(shù)據(jù)導(dǎo)入導(dǎo)出 81
4.3.2　表格合并 83
4.3.3　讀寫文件中的編碼問題 90
4.3.4　刪除與替換數(shù)據(jù) 92
4.3.5　表格整體性分析 96
4.3.6　GroupBy分組運(yùn)算 98
4.3.7　綜合練習(xí) 103
第5章　SciPy入門與進(jìn)階
5.1　SciPy中的常數(shù)與函數(shù) 106
5.1.1　SciPy中的常數(shù) 106
5.1.2　SciPy中的special模塊 107
5.2　SciPy中的科學(xué)計(jì)算工具 108
5.2.1　求解多元方程組 108
5.2.2　擬合方程 110
5.2.3　最優(yōu)化算法 113
5.2.4　統(tǒng)計(jì)分布 116
5.2.5　積分 120
5.2.6　插值 121
第6章　可視化
6.1　可視化的魅力 124
6.1.1　別出心裁的可視化 124
6.1.2　可視化的基本理論 126
6.1.3　可視化實(shí)例 127
6.2　matplotlib第三方庫(kù)的基本功能 131
6.2.1　matplotlib繪圖的基礎(chǔ)組件 131
6.2.2　餅圖 134
6.2.3　條形圖 139
6.2.4　散點(diǎn)圖 142
6.2.5　折線圖 145
6.2.6　箱線圖 146
6.2.7　小提琴圖 148
6.2.8　Basemap簡(jiǎn)單介紹 150
6.3　交互式繪圖 151
6.3.1　matplotlib的簡(jiǎn)單交互式繪圖 151
6.3.2　pyecharts可視化庫(kù) 154
第7章　時(shí)間序列
7.1　datetime庫(kù)的簡(jiǎn)單介紹 160
7.1.1　時(shí)間坐標(biāo)的構(gòu)造 160
7.1.2　時(shí)間和字符串的轉(zhuǎn)換 161
7.2　時(shí)間序列中pandas的應(yīng)用 162
7.2.1　DatetimeIndex 162
7.2.2　pandas中時(shí)間坐標(biāo)的構(gòu)造 163
7.2.3　PeriodIndex（時(shí)間索引類型） 164
7.2.4　采樣 166
7.2.5　超前或滯后 167
7.2.6　移動(dòng)窗口函數(shù) 168
7.3　時(shí)間序列的時(shí)區(qū)轉(zhuǎn)換 169
第8章　數(shù)據(jù)分析中的統(tǒng)計(jì)學(xué)
8.1　有趣的選擇 171
8.2　數(shù)據(jù)分析回答ofo多久才能退押金 172
8.3　統(tǒng)計(jì)學(xué)在數(shù)據(jù)分析中扮演的角色 178
8.4　數(shù)據(jù)預(yù)處理 178
8.4.1　數(shù)據(jù)清洗 178
8.4.2　數(shù)據(jù)集成 180
8.4.3　數(shù)據(jù)變換 181
8.5　特征工程 182
8.5.1　過濾法 183
8.5.2　包裝法 186
8.5.3　嵌入式方法 190
8.5.4　正則化 193
8.6　模型訓(xùn)練 194
8.7　模型評(píng)估 199
8.8　數(shù)據(jù)分析中的其他問題 201
8.8.1　數(shù)據(jù)泄露 201
8.8.2　大數(shù)據(jù)下的數(shù)據(jù)分析 202
8.8.3　辛普森悖論 204
8.8.4　數(shù)據(jù)集的劃分 205
8.8.5　優(yōu)化調(diào)參 206
第9章　豆瓣電影TOP 250數(shù)據(jù)分析
9.1　項(xiàng)目介紹 210
9.1.1　爬蟲的簡(jiǎn)單介紹 210
9.1.2　網(wǎng)頁(yè)的構(gòu)成 210
9.1.3　實(shí)戰(zhàn)中的爬蟲技術(shù)介紹 211
9.1.4　實(shí)戰(zhàn)中數(shù)據(jù)存儲(chǔ)與讀取 215
9.1.5　實(shí)戰(zhàn)中的界面設(shè)計(jì) 216
9.1.6　實(shí)戰(zhàn)中的數(shù)據(jù)可視化 219
9.2　數(shù)據(jù)庫(kù)操作 224
9.2.1　數(shù)據(jù)庫(kù)的安裝與配置 225
9.2.2　數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù) 227
9.3　數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)語(yǔ)言 228
9.3.1　創(chuàng)建數(shù)據(jù)庫(kù)、表 229
9.3.2　表的刪除與更新 229
9.3.3　查詢 230
9.3.4　聚合與排序 230
9.3.5　數(shù)據(jù)更新 231
9.3.6　表的集合運(yùn)算 232
9.3.7　Python和數(shù)據(jù)庫(kù)語(yǔ)言的關(guān)系 234
第10章　Python豐富的可視化案例
10.1　turtle庫(kù)的簡(jiǎn)單使用 236
10.2　北上廣深租房分析可視化案例 238
10.2.1　數(shù)據(jù)爬取 238
10.2.2　讀取數(shù)據(jù) 240
10.2.3　數(shù)據(jù)分析 241
第11章　Python預(yù)測(cè)應(yīng)用——SVM預(yù)測(cè)股票漲跌
11.1　SVM介紹 246
11.1.1　SVM原理 246
11.1.2　核函數(shù) 247
11.2　SVM實(shí)戰(zhàn) 249
11.2.1　數(shù)據(jù)預(yù)處理 249
11.2.2　訓(xùn)練模型 251
11.2.3　遺傳算法 252
第12章　文本分析《三國(guó)演義》：挖掘人物圖譜
12.1　項(xiàng)目簡(jiǎn)單說明 262
12.1.1　代碼分塊介紹 262
12.1.2　效果圖展示 265
12.2　工程具體實(shí)現(xiàn) 265
12.2.1　設(shè)計(jì)思想 266
12.2.2　代碼詳解 266
12.2.3　可視化 267
目　錄
第1章　什么是數(shù)據(jù)分析
1.1　Python開發(fā)環(huán)境 1
1.2　數(shù)據(jù)分析的前世今生 2
1.2.1　數(shù)據(jù)分析歷史 2
1.2.2　數(shù)據(jù)分析的現(xiàn)實(shí)應(yīng)用 2
1.2.3　數(shù)據(jù)分析的技能需求 3
1.3　數(shù)據(jù)分析流程 4
1.3.1　數(shù)據(jù)導(dǎo)入、清洗 5
1.3.2　單變量分析 6
1.3.3　多變量分析 6
1.3.4　選擇模型 6
1.3.5　估計(jì)與假設(shè)檢驗(yàn) 7
1.3.6　可視化 8
1.4　數(shù)據(jù)分析經(jīng)典案例 8
1.4.1　犯罪率的下降與法律條文的生成 8
1.4.2　利用數(shù)據(jù)觀察校園作弊行為 9
1.4.3　靠統(tǒng)計(jì)學(xué)致富的數(shù)學(xué)家 11
1.5　數(shù)據(jù)分析的第一個(gè)實(shí)戰(zhàn) 12
1.5.1　單變量探索 12
1.5.2　多變量分析 16
1.5.3　選擇模型 21
1.5.4　假設(shè)檢驗(yàn) 25
第2章　Python知識(shí)進(jìn)階
2.1　Python語(yǔ)言 28
2.1.1　Python的歷史 29
2.1.2　Python的特色 29
2.2　Python技巧與進(jìn)階 31
2.2.1　數(shù)據(jù)類型方面的技巧 31
2.2.2　數(shù)字方面的使用技巧 32
2.2.3　枚舉 34
2.2.4　匿名函數(shù)的應(yīng)用 35
2.2.5　裝飾器：語(yǔ)法糖 37
2.2.6　列表生成式 39
2.2.7　迭代器與生成器 39
2.3　Python編程的易錯(cuò)點(diǎn) 41
2.3.1　全局變量與局部變量 42
2.3.2　閉包 43
2.3.3　函數(shù)傳參 44
2.3.4　列表和數(shù)組的區(qū)別 45
2.3.5　變量和按引用傳遞 45
2.3.6　None：一個(gè)獨(dú)特的類型 47
2.4　小結(jié) 48
第3章　NumPy的入門與進(jìn)階
3.1　ndarray數(shù)組 49
3.1.1　ndarray數(shù)組的創(chuàng)建 49
3.1.2　C和Fortran順序 51
3.2　索引 51
3.2.1　基本索引 51
3.2.2　高維數(shù)組的索引 52
3.2.3　高階索引 54
3.3　廣播機(jī)制 56
3.4　NumPy數(shù)組的運(yùn)算 58
3.4.1　NumPy的數(shù)值計(jì)算 58
3.4.2　比較與排序 59
3.4.3　NumPy的數(shù)組計(jì)算 60
3.4.4　ufunc高級(jí)應(yīng)用 61
3.4.5　NumPy初等函數(shù)與math內(nèi)置初等函數(shù)的區(qū)別 63
3.4.6　NumPy中的多項(xiàng)式函數(shù) 64
3.4.7　其他功能函數(shù) 65
第4章　pandas的入門與進(jìn)階
4.1　pandas的數(shù)據(jù)結(jié)構(gòu) 66
4.1.1　Series的創(chuàng)建 67
4.1.2　Series的數(shù)值計(jì)算 68
4.1.3　DataFrame的創(chuàng)建 69
4.1.4　DataFrame的基本屬性 70
4.2　pandas數(shù)據(jù)結(jié)構(gòu)的基本操作 72
4.2.1　轉(zhuǎn)置 72
4.2.2　索引 73
4.2.3　DataFrame的關(guān)系型操作 75
4.2.4　DataFrame的畫圖操作 76
4.2.5　查看數(shù)據(jù) 80
4.3　pandas數(shù)據(jù)結(jié)構(gòu)的進(jìn)階操作 81
4.3.1　數(shù)據(jù)導(dǎo)入導(dǎo)出 81
4.3.2　表格合并 83
4.3.3　讀寫文件中的編碼問題 90
4.3.4　刪除與替換數(shù)據(jù) 92
4.3.5　表格整體性分析 96
4.3.6　GroupBy分組運(yùn)算 98
4.3.7　綜合練習(xí) 103
第5章　SciPy入門與進(jìn)階
5.1　SciPy中的常數(shù)與函數(shù) 106
5.1.1　SciPy中的常數(shù) 106
5.1.2　SciPy中的special模塊 107
5.2　SciPy中的科學(xué)計(jì)算工具 108
5.2.1　求解多元方程組 108
5.2.2　擬合方程 110
5.2.3　最優(yōu)化算法 113
5.2.4　統(tǒng)計(jì)分布 116
5.2.5　積分 120
5.2.6　插值 121
第6章　可視化
6.1　可視化的魅力 124
6.1.1　別出心裁的可視化 124
6.1.2　可視化的基本理論 126
6.1.3　可視化實(shí)例 127
6.2　matplotlib第三方庫(kù)的基本功能 131
6.2.1　matplotlib繪圖的基礎(chǔ)組件 131
6.2.2　餅圖 134
6.2.3　條形圖 139
6.2.4　散點(diǎn)圖 142
6.2.5　折線圖 145
6.2.6　箱線圖 146
6.2.7　小提琴圖 148
6.2.8　Basemap簡(jiǎn)單介紹 150
6.3　交互式繪圖 151
6.3.1　matplotlib的簡(jiǎn)單交互式繪圖 151
6.3.2　pyecharts可視化庫(kù) 154
第7章　時(shí)間序列
7.1　datetime庫(kù)的簡(jiǎn)單介紹 160
7.1.1　時(shí)間坐標(biāo)的構(gòu)造 160
7.1.2　時(shí)間和字符串的轉(zhuǎn)換 161
7.2　時(shí)間序列中pandas的應(yīng)用 162
7.2.1　DatetimeIndex 162
7.2.2　pandas中時(shí)間坐標(biāo)的構(gòu)造 163
7.2.3　PeriodIndex（時(shí)間索引類型） 164
7.2.4　采樣 166
7.2.5　超前或滯后 167
7.2.6　移動(dòng)窗口函數(shù) 168
7.3　時(shí)間序列的時(shí)區(qū)轉(zhuǎn)換 169
第8章　數(shù)據(jù)分析中的統(tǒng)計(jì)學(xué)
8.1　有趣的選擇 171
8.2　數(shù)據(jù)分析回答ofo多久才能退押金 172
8.3　統(tǒng)計(jì)學(xué)在數(shù)據(jù)分析中扮演的角色 178
8.4　數(shù)據(jù)預(yù)處理 178
8.4.1　數(shù)據(jù)清洗 178
8.4.2　數(shù)據(jù)集成 180
8.4.3　數(shù)據(jù)變換 181
8.5　特征工程 182
8.5.1　過濾法 183
8.5.2　包裝法 186
8.5.3　嵌入式方法 190
8.5.4　正則化 193
8.6　模型訓(xùn)練 194
8.7　模型評(píng)估 199
8.8　數(shù)據(jù)分析中的其他問題 201
8.8.1　數(shù)據(jù)泄露 201
8.8.2　大數(shù)據(jù)下的數(shù)據(jù)分析 202
8.8.3　辛普森悖論 204
8.8.4　數(shù)據(jù)集的劃分 205
8.8.5　優(yōu)化調(diào)參 206
第9章　豆瓣電影TOP 250數(shù)據(jù)分析
9.1　項(xiàng)目介紹 210
9.1.1　爬蟲的簡(jiǎn)單介紹 210
9.1.2　網(wǎng)頁(yè)的構(gòu)成 210
9.1.3　實(shí)戰(zhàn)中的爬蟲技術(shù)介紹 211
9.1.4　實(shí)戰(zhàn)中數(shù)據(jù)存儲(chǔ)與讀取 215
9.1.5　實(shí)戰(zhàn)中的界面設(shè)計(jì) 216
9.1.6　實(shí)戰(zhàn)中的數(shù)據(jù)可視化 219
9.2　數(shù)據(jù)庫(kù)操作 224
9.2.1　數(shù)據(jù)庫(kù)的安裝與配置 225
9.2.2　數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù) 227
9.3　數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)語(yǔ)言 228
9.3.1　創(chuàng)建數(shù)據(jù)庫(kù)、表 229
9.3.2　表的刪除與更新 229
9.3.3　查詢 230
9.3.4　聚合與排序 230
9.3.5　數(shù)據(jù)更新 231
9.3.6　表的集合運(yùn)算 232
9.3.7　Python和數(shù)據(jù)庫(kù)語(yǔ)言的關(guān)系 234
第10章　Python豐富的可視化案例
10.1　turtle庫(kù)的簡(jiǎn)單使用 236
10.2　北上廣深租房分析可視化案例 238
10.2.1　數(shù)據(jù)爬取 238
10.2.2　讀取數(shù)據(jù) 240
10.2.3　數(shù)據(jù)分析 241
第11章　Python預(yù)測(cè)應(yīng)用——SVM預(yù)測(cè)股票漲跌
11.1　SVM介紹 246
11.1.1　SVM原理 246
11.1.2　核函數(shù) 247
11.2　SVM實(shí)戰(zhàn) 249
11.2.1　數(shù)據(jù)預(yù)處理 249
11.2.2　訓(xùn)練模型 251
11.2.3　遺傳算法 252
第12章　文本分析《三國(guó)演義》：挖掘人物圖譜
12.1　項(xiàng)目簡(jiǎn)單說明 262
12.1.1　代碼分塊介紹 262
12.1.2　效果圖展示 265
12.2　工程具體實(shí)現(xiàn) 265
12.2.1　設(shè)計(jì)思想 266
12.2.2　代碼詳解 266
12.2.3　可視化 267