數(shù)據(jù)挖掘方法與應(yīng)用

目 錄


第1章 數(shù)據(jù)挖掘概述 1
1.1 數(shù)據(jù)挖掘的產(chǎn)生與發(fā)展 1
1.1.1 數(shù)據(jù)挖掘概念的提出 2
1.1.2 數(shù)據(jù)挖掘系統(tǒng)的發(fā)展 3
1.1.3 當前熱點和未來趨勢 5
1.2 數(shù)據(jù)挖掘過程 10
1.2.1 Fayyad過程模型 10
1.2.2 CRISP-DM過程模型 11
1.3 數(shù)據(jù)挖掘功能與使用技術(shù) 21
1.3.1 數(shù)據(jù)挖掘功能 21
1.3.2 數(shù)據(jù)挖掘使用技術(shù) 22
1.4 數(shù)據(jù)挖掘應(yīng)用 26
1.4.1 金融領(lǐng)域的數(shù)據(jù)挖掘 26
1.4.2 電信領(lǐng)域的數(shù)據(jù)挖掘 26
1.4.3 零售與電子商務(wù)領(lǐng)域的數(shù)據(jù)挖掘 27
1.4.4 政府政務(wù)領(lǐng)域的數(shù)據(jù)挖掘 27
1.4.5 醫(yī)療領(lǐng)域的數(shù)據(jù)挖掘 28
1.4.6 科學領(lǐng)域的數(shù)據(jù)挖掘 28
1.5 練習與拓展 28
第2章 數(shù)據(jù)挖掘工具 30
2.1 Weka 30
2.1.1 Weka簡述 30
2.1.2 Weka運行界面 31
2.2 IBM SPSS Modeler 34
2.2.1 IBM SPSS Modeler簡述 34
2.2.2 IBM SPSS Modeler主界面及功能 35
2.3 R語言 41
2.3.1 R語言簡述 41
2.3.2 RStudio 42
2.3.3 R語言與數(shù)據(jù)挖掘 42
2.4 Python語言 45
2.4.1 Python語言簡述 45
2.4.2 Python與數(shù)據(jù)分析 46
2.4.3 Anaconda 46
2.5 練習與拓展 50
第3章 數(shù)據(jù)與數(shù)據(jù)平臺 51
3.1 數(shù)據(jù)類型 51
3.1.1 數(shù)據(jù)形態(tài)與數(shù)據(jù)類型 51
3.1.2 數(shù)據(jù)環(huán)境與數(shù)據(jù)類型 54
3.2 關(guān)系型數(shù)據(jù)庫 55
3.2.1 關(guān)系型數(shù)據(jù)庫概述 55
3.2.2 關(guān)系型數(shù)據(jù)庫管理系統(tǒng) 56
3.3 NoSQL數(shù)據(jù)庫 57
3.3.1 鍵值數(shù)據(jù)庫 57
3.3.2 文檔數(shù)據(jù)庫 58
3.3.3 列族數(shù)據(jù)庫 60
3.3.4 圖數(shù)據(jù)庫 61
3.4 數(shù)據(jù)倉庫與大數(shù)據(jù)平臺 63
3.4.1 數(shù)據(jù)倉庫 63
3.4.2 大數(shù)據(jù)平臺 68
3.5 練習與拓展 74
第4章 數(shù)據(jù)預(yù)處理 75
4.1 數(shù)據(jù)預(yù)處理概述 75
4.1.1 原始數(shù)據(jù)中存在的問題 75
4.1.2 數(shù)據(jù)預(yù)處理的主要任務(wù) 77
4.2 數(shù)據(jù)清洗 77
4.2.1 缺失數(shù)據(jù)處理 77
4.2.2 異常數(shù)據(jù)處理 78
4.3 數(shù)據(jù)集成 80
4.3.1 模式匹配及數(shù)值一致化 80
4.3.2 刪除冗余數(shù)據(jù) 81
4.4 數(shù)據(jù)變換 82
4.4.1 定性數(shù)據(jù)數(shù)值化 82
4.4.2 定量數(shù)據(jù)離散化和規(guī)范化 83
4.4.3 不平衡數(shù)據(jù)處理 84
4.5 數(shù)據(jù)歸約 85
4.5.1 屬性的歸約 85
4.5.2 記錄的歸約 87
4.5.3 數(shù)值的歸約 88
4.6 練習與拓展 89
第5章 關(guān)聯(lián)分析 90
5.1 關(guān)聯(lián)分析概述 90
5.1.1 關(guān)聯(lián)分析基本概念 91
5.1.2 關(guān)聯(lián)規(guī)則挖掘的基本過程 93
5.2 Apriori算法 94
5.2.1 Apriori性質(zhì) 94
5.2.2 Apriori算法的頻繁項集產(chǎn)生 95
5.3 強關(guān)聯(lián)規(guī)則的悖論 99
5.3.1 強關(guān)聯(lián)規(guī)則不一定是有趣的規(guī)則 99
5.3.2 基于提升度過濾無趣的強關(guān)聯(lián)規(guī)則 100
5.3.3 基于支持度、置信度及提升度的關(guān)聯(lián)規(guī)則發(fā)現(xiàn) 100
5.4 基于IBM SPSS Modeler的應(yīng)用 103
5.4.1 事實表數(shù)據(jù)的應(yīng)用示例 103
5.4.2 事務(wù)表數(shù)據(jù)的應(yīng)用示例 113
5.5 基于R語言的應(yīng)用 123
5.5.1 數(shù)據(jù)初探 123
5.5.2 可視化交易數(shù)據(jù) 125
5.5.3 挖掘關(guān)聯(lián)規(guī)則 127
5.5.4 可視化關(guān)聯(lián)規(guī)則 130
5.6 練習與拓展 134
第6章 決策樹 136
6.1 決策樹概述 136
6.1.1 決策樹分析相關(guān)概念 137
6.1.2 決策樹分析核心問題 138
6.2 ID3算法 138
6.2.1 信息論的基本概念 138
6.2.2 ID3算法基本原理 139
6.2.3 使用ID3算法建立決策樹 141
6.3 C5.0算法 143
6.3.1 C5.0算法的決策樹生長 144
6.3.2 C5.0算法的決策樹修剪 149
6.4 基于IBM SPSS Modeler的應(yīng)用 151
6.4.1 數(shù)據(jù)讀取與審核 152
6.4.2 探索性分析 153
6.4.3 數(shù)據(jù)預(yù)處理 158
6.4.4 決策樹模型構(gòu)建與評估：基于C5.0算法 163
6.4.5 預(yù)測結(jié)果 170
6.5 基于R語言的應(yīng)用 171
6.5.1 數(shù)據(jù)探索 172
6.5.2 數(shù)據(jù)分區(qū) 177
6.5.3 模型訓練與評估 178
6.5.4 使用boosting和代價矩陣調(diào)整模型 181
6.6 練習與拓展 184
第7章 貝葉斯分類 185
7.1 貝葉斯分類概述 185
7.1.1 貝葉斯定理 186
7.1.2 貝葉斯信念網(wǎng)絡(luò) 186
7.2 樸素貝葉斯分類 188
7.2.1 樸素貝葉斯分類原理 188
7.2.2 樸素貝葉斯分類計算示例 191
7.2.3 零概率問題：拉普拉斯平滑 193
7.3 TAN貝葉斯分類 194
7.3.1 TAN貝葉斯網(wǎng)絡(luò)結(jié)構(gòu) 194
7.3.2 TAN貝葉斯分類過程 195
7.4 基于IBM SPSS Modeler的應(yīng)用 196
7.4.1 數(shù)據(jù)讀取與審核 198
7.4.2 探索性分析 199
7.4.3 數(shù)據(jù)預(yù)處理 208
7.4.4 TAN貝葉斯分類模型構(gòu)建與評估 210
7.5 基于R語言的應(yīng)用 214
7.5.1 數(shù)據(jù)探索 214
7.5.2 文本數(shù)據(jù)預(yù)處理 215
7.5.3 劃分數(shù)據(jù)集 219
7.5.4 詞云分析 221
7.5.5 模型訓練與評估 223
7.6 練習與拓展 225
第8章 神經(jīng)網(wǎng)絡(luò) 226
8.1 神經(jīng)網(wǎng)絡(luò)概述 226
8.1.1 生物神經(jīng)元與人工神經(jīng)元 226
8.1.2 激活函數(shù) 227
8.1.3 神經(jīng)網(wǎng)絡(luò)的拓撲結(jié)構(gòu) 230
8.2 BP神經(jīng)網(wǎng)絡(luò) 232
8.2.1 BP神經(jīng)網(wǎng)絡(luò)的學習過程 232
8.2.2 BP算法描述 237
8.2.3 前饋神經(jīng)網(wǎng)絡(luò)計算示例 238
8.3 卷積神經(jīng)網(wǎng)絡(luò) 240
8.3.1 卷積層 240
8.3.2 激活層 243
8.3.3 池化層 244
8.3.4 全連接層 244
8.4 基于IBM SPSS Modeler的應(yīng)用 245
8.4.1 數(shù)據(jù)讀取 246
8.4.2 “數(shù)據(jù)審核”節(jié)點預(yù)處理 247
8.4.3 探索性分析 250
8.4.4 分區(qū)與平衡 251
8.4.5 模型構(gòu)建與評價 252
8.5 基于R語言的應(yīng)用 260
8.5.1 數(shù)據(jù)初探 260
8.5.2 數(shù)據(jù)轉(zhuǎn)換與分區(qū) 263
8.5.3 模型構(gòu)建與評價 263
8.6 練習與拓展 268
參考文獻 270