數(shù)據(jù)清洗

第1章 數(shù)據(jù)清洗概述 1
1.1 數(shù)據(jù)清洗簡(jiǎn)介 1
1.1.1 數(shù)據(jù)科學(xué)過(guò)程 1
1.1.2 數(shù)據(jù)清洗定義 2
1.1.3 數(shù)據(jù)清洗任務(wù) 3
1.1.4 數(shù)據(jù)清洗流程 4
1.1.5 數(shù)據(jù)清洗環(huán)境 5
1.1.6 數(shù)據(jù)清洗實(shí)例說(shuō)明 6
1.2 數(shù)據(jù)標(biāo)準(zhǔn)化 7
1.2.1 數(shù)據(jù)標(biāo)準(zhǔn)化概念 7
1.2.2 數(shù)據(jù)標(biāo)準(zhǔn)化常用方法 8
1.3 數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介 9
1.3.1 數(shù)據(jù)倉(cāng)庫(kù)定義 9
1.3.2 數(shù)據(jù)倉(cāng)庫(kù)組成要素 10
1.3.3 數(shù)據(jù)倉(cāng)庫(kù)分類 11
1.3.4 數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù) 12
1.3.5 常用工具簡(jiǎn)介 13
1.4 習(xí)題 14
第2章 數(shù)據(jù)格式與編碼 16
2.1 文件文本格式 16
2.1.1 常見文本格式 17
2.1.2 xls及xlsx文件格式 18
2.1.3 JSON文本格式 19
2.1.4 HTML和XML文本格式 19
2.2 數(shù)據(jù)編碼 20
2.2.1 數(shù)據(jù)類型 21
2.2.2 數(shù)據(jù)類型間轉(zhuǎn)換 25
2.2.3　字符編碼 26
2.2.4 空值和亂碼 28
2.3 數(shù)據(jù)轉(zhuǎn)換 28
2.3.1 電子表格轉(zhuǎn)換 29
2.3.2 RDBMS數(shù)據(jù)轉(zhuǎn)換 30
2.4 習(xí)題 30
第3章 基本技術(shù)方法 31
3.1 ETL入門 31
3.1.1 ETL解決方案 31
3.1.2 ETL基本構(gòu)成 33
3.1.3 ETL技術(shù)選型 35
3.2 技術(shù)路線 35
3.2.1 文本清洗路線 35
3.2.2 RDBMS清洗路線 36
3.2.3 Web內(nèi)容清洗路線 36
3.3 ETL工具 37
3.3.1 ETL功能 37
3.3.2 開源ETL工具 38
3.4 ETL子系統(tǒng) 39
3.4.1 抽取 39
3.4.2 清洗和更正數(shù)據(jù) 39
3.4.3 數(shù)據(jù)發(fā)布 40
3.4.4 管理ETL 41
3.5 習(xí)題 41
第4章 數(shù)據(jù)清洗常用工具及基本操作 42
4.1 Microsoft Excel數(shù)據(jù)清洗基本操作 42
4.1.1 Excel數(shù)據(jù)清洗概述 42
4.1.2 Excel數(shù)據(jù)清洗 53
4.2 Kettle簡(jiǎn)介及基本操作 57
4.2.1 Kettle軟件概述 57
4.2.2 Kettle基本操作 60
4.2.3 Kettle數(shù)據(jù)清洗實(shí)例操作 64
4.3 OpenRefine簡(jiǎn)介及基本操作 68
4.3.1 OpenRefine軟件概述 69
4.3.2 OpenRefine基本操作 70
4.3.3 OpenRefine數(shù)據(jù)清洗實(shí)例操作 73
4.4 DataWrangler簡(jiǎn)介及基本操作 80
4.4.1 DataWrangler軟件概述 80
4.4.2 DataWrangler基本操作 81
4.4.3 DataWrangler數(shù)據(jù)清洗實(shí)例操作 82
4.5 Hawk簡(jiǎn)介及基本操作 86
4.5.1 Hawk軟件概述 86
4.5.2 Hawk基本操作 88
4.5.3 Hawk數(shù)據(jù)清洗實(shí)例操作 91
4.6 上機(jī)練習(xí)與實(shí)訓(xùn) 98
4.7 習(xí)題 103
第5章 數(shù)據(jù)抽取 104
5.1 文本文件抽取 104
5.1.1 制表符文本抽取 107
5.1.2 CSV文件抽取 111
5.2 Web數(shù)據(jù)抽取 114
5.2.1 HTML文件抽取 114
5.2.2 JSON數(shù)據(jù)抽取 116
5.2.3 XML數(shù)據(jù)抽取 120
5.3 數(shù)據(jù)庫(kù)數(shù)據(jù)抽取 123
5.3.1 數(shù)據(jù)導(dǎo)入導(dǎo)出 123
5.3.2 ETL工具抽取 124
5.3.3 SQL到NoSQL抽取 127
5.4 上機(jī)練習(xí)與實(shí)訓(xùn) 135
5.5 習(xí)題 143
第6章 數(shù)據(jù)轉(zhuǎn)換與加載 144
6.1 數(shù)據(jù)清洗轉(zhuǎn)換 144
6.1.1 數(shù)據(jù)清洗 145
6.1.2 數(shù)據(jù)檢驗(yàn) 151
6.1.3 錯(cuò)誤處理 156
6.2 數(shù)據(jù)質(zhì)量評(píng)估 161
6.2.1 數(shù)據(jù)評(píng)估指標(biāo) 161
6.2.2 審計(jì)數(shù)據(jù) 163
6.3 數(shù)據(jù)加載 164
6.3.1 數(shù)據(jù)加載的概念 164
6.3.2 數(shù)據(jù)加載的方式 164
6.3.3 批量數(shù)據(jù)加載 165
6.3.4 數(shù)據(jù)加載異常處理 165
6.4 上機(jī)練習(xí)與實(shí)訓(xùn) 166
6.5 習(xí)題 173
第7章 采集Web數(shù)據(jù)實(shí)例 175
7.1 網(wǎng)頁(yè)結(jié)構(gòu) 175
7.1.1 DOM模型 175
7.1.2 正則表達(dá)式 178
7.2 網(wǎng)絡(luò)爬蟲 181
7.2.1 網(wǎng)絡(luò)爬蟲簡(jiǎn)介 181
7.2.2 網(wǎng)絡(luò)爬蟲異常處理 189
7.3 行為日志采集 190
7.3.1 用戶實(shí)時(shí)行為數(shù)據(jù)采集 190
7.3.2 用戶實(shí)時(shí)行為數(shù)據(jù)分析 193
7.4 上機(jī)練習(xí)與實(shí)訓(xùn) 195
7.5 習(xí)題 198
第8章 清洗RDBMS數(shù)據(jù)實(shí)例 199
8.1 準(zhǔn)備工作 199
8.1.1 準(zhǔn)備待清洗的數(shù)據(jù)集 200
8.1.2 搭建操作環(huán)境 200
8.1.3 數(shù)據(jù)導(dǎo)入MySQL 201
8.2 數(shù)據(jù)庫(kù)數(shù)據(jù)清洗 205
8.2.1 缺失值清洗 205
8.2.2 格式內(nèi)容清洗 209
8.2.3 邏輯錯(cuò)誤清洗 214
8.2.4 非需求數(shù)據(jù)清洗 217
8.3 數(shù)據(jù)脫敏處理 218
8.4 習(xí)題 222
參考文獻(xiàn) 223
附錄A 大數(shù)據(jù)和人工智能實(shí)驗(yàn)環(huán)境 224
附錄B Hadoop環(huán)境要求 234
附錄C 名詞解釋 236