數(shù)據(jù)挖掘方法與應用

目 錄


第1章 數(shù)據(jù)挖掘概述 1
1.1 數(shù)據(jù)挖掘的產生與發(fā)展 1
1.1.1 數(shù)據(jù)挖掘概念的提出 2
1.1.2 數(shù)據(jù)挖掘系統(tǒng)的發(fā)展 3
1.1.3 當前熱點和未來趨勢 5
1.2 數(shù)據(jù)挖掘過程 10
1.2.1 Fayyad過程模型 10
1.2.2 CRISP-DM過程模型 11
1.3 數(shù)據(jù)挖掘功能與使用技術 21
1.3.1 數(shù)據(jù)挖掘功能 21
1.3.2 數(shù)據(jù)挖掘使用技術 22
1.4 數(shù)據(jù)挖掘應用 26
1.4.1 金融領域的數(shù)據(jù)挖掘 26
1.4.2 電信領域的數(shù)據(jù)挖掘 26
1.4.3 零售與電子商務領域的數(shù)據(jù)挖掘 27
1.4.4 政府政務領域的數(shù)據(jù)挖掘 27
1.4.5 醫(yī)療領域的數(shù)據(jù)挖掘 28
1.4.6 科學領域的數(shù)據(jù)挖掘 28
1.5 練習與拓展 28
第2章 數(shù)據(jù)挖掘工具 30
2.1 Weka 30
2.1.1 Weka簡述 30
2.1.2 Weka運行界面 31
2.2 IBM SPSS Modeler 34
2.2.1 IBM SPSS Modeler簡述 34
2.2.2 IBM SPSS Modeler主界面及功能 35
2.3 R語言 41
2.3.1 R語言簡述 41
2.3.2 RStudio 42
2.3.3 R語言與數(shù)據(jù)挖掘 42
2.4 Python語言 45
2.4.1 Python語言簡述 45
2.4.2 Python與數(shù)據(jù)分析 46
2.4.3 Anaconda 46
2.5 練習與拓展 50
第3章 數(shù)據(jù)與數(shù)據(jù)平臺 51
3.1 數(shù)據(jù)類型 51
3.1.1 數(shù)據(jù)形態(tài)與數(shù)據(jù)類型 51
3.1.2 數(shù)據(jù)環(huán)境與數(shù)據(jù)類型 54
3.2 關系型數(shù)據(jù)庫 55
3.2.1 關系型數(shù)據(jù)庫概述 55
3.2.2 關系型數(shù)據(jù)庫管理系統(tǒng) 56
3.3 NoSQL數(shù)據(jù)庫 57
3.3.1 鍵值數(shù)據(jù)庫 57
3.3.2 文檔數(shù)據(jù)庫 58
3.3.3 列族數(shù)據(jù)庫 60
3.3.4 圖數(shù)據(jù)庫 61
3.4 數(shù)據(jù)倉庫與大數(shù)據(jù)平臺 63
3.4.1 數(shù)據(jù)倉庫 63
3.4.2 大數(shù)據(jù)平臺 68
3.5 練習與拓展 74
第4章 數(shù)據(jù)預處理 75
4.1 數(shù)據(jù)預處理概述 75
4.1.1 原始數(shù)據(jù)中存在的問題 75
4.1.2 數(shù)據(jù)預處理的主要任務 77
4.2 數(shù)據(jù)清洗 77
4.2.1 缺失數(shù)據(jù)處理 77
4.2.2 異常數(shù)據(jù)處理 78
4.3 數(shù)據(jù)集成 80
4.3.1 模式匹配及數(shù)值一致化 80
4.3.2 刪除冗余數(shù)據(jù) 81
4.4 數(shù)據(jù)變換 82
4.4.1 定性數(shù)據(jù)數(shù)值化 82
4.4.2 定量數(shù)據(jù)離散化和規(guī)范化 83
4.4.3 不平衡數(shù)據(jù)處理 84
4.5 數(shù)據(jù)歸約 85
4.5.1 屬性的歸約 85
4.5.2 記錄的歸約 87
4.5.3 數(shù)值的歸約 88
4.6 練習與拓展 89
第5章 關聯(lián)分析 90
5.1 關聯(lián)分析概述 90
5.1.1 關聯(lián)分析基本概念 91
5.1.2 關聯(lián)規(guī)則挖掘的基本過程 93
5.2 Apriori算法 94
5.2.1 Apriori性質 94
5.2.2 Apriori算法的頻繁項集產生 95
5.3 強關聯(lián)規(guī)則的悖論 99
5.3.1 強關聯(lián)規(guī)則不一定是有趣的規(guī)則 99
5.3.2 基于提升度過濾無趣的強關聯(lián)規(guī)則 100
5.3.3 基于支持度、置信度及提升度的關聯(lián)規(guī)則發(fā)現(xiàn) 100
5.4 基于IBM SPSS Modeler的應用 103
5.4.1 事實表數(shù)據(jù)的應用示例 103
5.4.2 事務表數(shù)據(jù)的應用示例 113
5.5 基于R語言的應用 123
5.5.1 數(shù)據(jù)初探 123
5.5.2 可視化交易數(shù)據(jù) 125
5.5.3 挖掘關聯(lián)規(guī)則 127
5.5.4 可視化關聯(lián)規(guī)則 130
5.6 練習與拓展 134
第6章 決策樹 136
6.1 決策樹概述 136
6.1.1 決策樹分析相關概念 137
6.1.2 決策樹分析核心問題 138
6.2 ID3算法 138
6.2.1 信息論的基本概念 138
6.2.2 ID3算法基本原理 139
6.2.3 使用ID3算法建立決策樹 141
6.3 C5.0算法 143
6.3.1 C5.0算法的決策樹生長 144
6.3.2 C5.0算法的決策樹修剪 149
6.4 基于IBM SPSS Modeler的應用 151
6.4.1 數(shù)據(jù)讀取與審核 152
6.4.2 探索性分析 153
6.4.3 數(shù)據(jù)預處理 158
6.4.4 決策樹模型構建與評估：基于C5.0算法 163
6.4.5 預測結果 170
6.5 基于R語言的應用 171
6.5.1 數(shù)據(jù)探索 172
6.5.2 數(shù)據(jù)分區(qū) 177
6.5.3 模型訓練與評估 178
6.5.4 使用boosting和代價矩陣調整模型 181
6.6 練習與拓展 184
第7章 貝葉斯分類 185
7.1 貝葉斯分類概述 185
7.1.1 貝葉斯定理 186
7.1.2 貝葉斯信念網絡 186
7.2 樸素貝葉斯分類 188
7.2.1 樸素貝葉斯分類原理 188
7.2.2 樸素貝葉斯分類計算示例 191
7.2.3 零概率問題：拉普拉斯平滑 193
7.3 TAN貝葉斯分類 194
7.3.1 TAN貝葉斯網絡結構 194
7.3.2 TAN貝葉斯分類過程 195
7.4 基于IBM SPSS Modeler的應用 196
7.4.1 數(shù)據(jù)讀取與審核 198
7.4.2 探索性分析 199
7.4.3 數(shù)據(jù)預處理 208
7.4.4 TAN貝葉斯分類模型構建與評估 210
7.5 基于R語言的應用 214
7.5.1 數(shù)據(jù)探索 214
7.5.2 文本數(shù)據(jù)預處理 215
7.5.3 劃分數(shù)據(jù)集 219
7.5.4 詞云分析 221
7.5.5 模型訓練與評估 223
7.6 練習與拓展 225
第8章 神經網絡 226
8.1 神經網絡概述 226
8.1.1 生物神經元與人工神經元 226
8.1.2 激活函數(shù) 227
8.1.3 神經網絡的拓撲結構 230
8.2 BP神經網絡 232
8.2.1 BP神經網絡的學習過程 232
8.2.2 BP算法描述 237
8.2.3 前饋神經網絡計算示例 238
8.3 卷積神經網絡 240
8.3.1 卷積層 240
8.3.2 激活層 243
8.3.3 池化層 244
8.3.4 全連接層 244
8.4 基于IBM SPSS Modeler的應用 245
8.4.1 數(shù)據(jù)讀取 246
8.4.2 “數(shù)據(jù)審核”節(jié)點預處理 247
8.4.3 探索性分析 250
8.4.4 分區(qū)與平衡 251
8.4.5 模型構建與評價 252
8.5 基于R語言的應用 260
8.5.1 數(shù)據(jù)初探 260
8.5.2 數(shù)據(jù)轉換與分區(qū) 263
8.5.3 模型構建與評價 263
8.6 練習與拓展 268
參考文獻 270