數(shù)據(jù)挖掘核心技術(shù)揭秘

目錄
前　言
第一部分　基 礎(chǔ) 知 識(shí)
第1章　引言2
　1.1　數(shù)據(jù)挖掘的含義2
　1.2　數(shù)據(jù)挖掘的演變過(guò)程3
　1.3　數(shù)據(jù)工具簡(jiǎn)介4
1.3.1　Hadoop與MapReduce5
1.3.2　Pig語(yǔ)言8
1.3.3　MATLAB編程9
1.3.4　SAS9
1.3.5　WEKA12
1.3.6　R語(yǔ)言編程12
　1.4　數(shù)據(jù)挖掘應(yīng)用領(lǐng)域13
　1.5　小結(jié)14
第2章　數(shù)學(xué)基礎(chǔ)15
　2.1　概率統(tǒng)計(jì)16
2.1.1　基本概念16
2.1.2　隨機(jī)變量及其分布19
　2.2　相似度24
2.2.1　期望與方差25
2.2.2　距離27
2.2.3　相關(guān)系數(shù)31
　2.3　矩陣計(jì)算34
　2.4　最小二乘法39
2.4.1　最小二乘法定義39
2.4.2　回歸40
2.4.3　參數(shù)的最小二乘法估計(jì)42
第3章　海量數(shù)據(jù)處理技術(shù)46
　3.1　索引技術(shù)46
3.1.1　數(shù)據(jù)庫(kù)索引46
3.1.2　文本索引49
　3.2　海量數(shù)據(jù)處理技術(shù)52
3.2.1　外排序53
3.2.2　分布式處理53
3.2.3　Bloom filter54
3.2.4　常用技巧55
第二部分　聚　　類
第4章　聚類58
　4.1　應(yīng)用場(chǎng)景58
4.1.1　語(yǔ)音區(qū)分58
4.1.2　新聞分組59
4.1.3　選定銷售策略59
4.1.4　交通事件預(yù)測(cè)59
　4.2　聚類技術(shù)60
4.2.1　劃分聚類61
4.2.2　層次聚類67
4.2.3　基于密度的聚類70
4.2.4　基于網(wǎng)格的聚類72
　4.3　多元分析72
4.3.1　主成分分析法73
4.3.2　因子分析83
4.3.3　對(duì)比分析83
第5章　離群點(diǎn)挖掘技術(shù)85
　5.1　應(yīng)用場(chǎng)景85
5.1.1　異常交通事件檢測(cè)85
5.1.2　欺詐檢測(cè)85
5.1.3　入侵檢測(cè)86
5.1.4　異常氣候檢測(cè)86
　5.2　離群點(diǎn)挖掘技術(shù)86
5.2.1　基于統(tǒng)計(jì)的離群點(diǎn)挖掘技術(shù)87
5.2.2　基于鄰近度的離群點(diǎn)挖掘技術(shù)88
5.2.3　基于密度的離群點(diǎn)挖掘技術(shù)89
5.2.4　基于聚類的離群點(diǎn)挖掘技術(shù)92
5.2.5　高維數(shù)據(jù)的離群點(diǎn)檢測(cè)算法93
第三部分　分　　類
第6章　決策樹98
　6.1　應(yīng)用場(chǎng)景98
6.1.1　病情診斷98
6.1.2　信用卡欺詐檢測(cè)98
　6.2　決策樹技術(shù)99
6.2.1　概述99
6.2.2　技術(shù)實(shí)現(xiàn)100
6.2.3　多分類決策樹104
6.2.4　參考實(shí)例106
第7章　基于實(shí)例的學(xué)習(xí)108
　7.1　應(yīng)用場(chǎng)景108
7.1.1　機(jī)械裝備的總體設(shè)計(jì)108
7.1.2　對(duì)新的法律案件的推理109
7.1.3　規(guī)劃或調(diào)度問(wèn)題109
　7.2　K近鄰算法110
　7.3　K-D樹111
7.3.1　近鄰的實(shí)現(xiàn)：K-D樹111
7.3.2　K-D樹的構(gòu)建112
7.3.3　K-D樹的最近鄰搜索算法113
第8章　支持向量機(jī)115
　8.1　應(yīng)用場(chǎng)景115
8.1.1　病情分類115
8.1.2　動(dòng)物分類116
　8.2　支持向量機(jī)技術(shù)116
8.2.1　概述116
8.2.2　技術(shù)實(shí)現(xiàn)118
8.2.3　核函數(shù)122
8.2.4　多類分類器124
第9章　貝葉斯學(xué)習(xí)126
　9.1　應(yīng)用場(chǎng)景126
9.1.1　垃圾郵件過(guò)濾126
9.1.2　手寫文字識(shí)別127
9.1.3　拼寫檢查128
9.1.4　分詞128
9.1.5　語(yǔ)音識(shí)別129
9.1.6　股票價(jià)格預(yù)測(cè)129
9.1.7　病情診斷129
9.1.8　選定銷售策略130
9.1.9　交通事件預(yù)測(cè)130
　9.2　貝葉斯學(xué)習(xí)技術(shù)131
9.2.1　概述131
9.2.2　技術(shù)實(shí)現(xiàn)131
9.2.3　參考實(shí)例135
第10章　人工神經(jīng)網(wǎng)絡(luò)138
　10.1　應(yīng)用場(chǎng)景138
10.1.1　信用卡欺詐檢測(cè)138
10.1.2　病情診斷139
10.1.3　足球比賽預(yù)測(cè)139
10.1.4　圖像姿勢(shì)識(shí)別139
10.1.5　利用圖像識(shí)別的自動(dòng)駕駛140
10.1.6　人臉識(shí)別140
10.1.7　語(yǔ)音分類識(shí)別141
　10.2　人工神經(jīng)網(wǎng)絡(luò)技術(shù)142
10.2.1　概述142
10.2.2　技術(shù)實(shí)現(xiàn)142
10.2.3　參考實(shí)例145
第11章　遺傳算法152
　11.1　應(yīng)用場(chǎng)景152
11.1.1　私人定制的電影152
11.1.2　國(guó)際象棋學(xué)習(xí)153
11.1.3　電路設(shè)計(jì)154
11.1.4　機(jī)器人的模擬控制154
11.1.5　函數(shù)設(shè)計(jì)154
11.1.6　唐詩(shī)生成器155
11.1.7　音樂(lè)生成器155
　11.2　遺傳技術(shù)155
11.2.1　概述155
11.2.2　技術(shù)實(shí)現(xiàn)158
11.2.3　參考實(shí)例：背包問(wèn)題166
第四部分　回　　歸
第12章　卡爾曼算法170
　12.1　應(yīng)用場(chǎng)景170
12.1.1　股票價(jià)格預(yù)測(cè)170
12.1.2　GPS定位預(yù)測(cè)171
　12.2　卡爾曼技術(shù)171
12.2.1　卡爾曼算法定義171
12.2.2　技術(shù)實(shí)現(xiàn)172
12.2.3　參考實(shí)例：GPS定位175
第五部分　應(yīng)　　用
第13章　推薦系統(tǒng)180
　13.1　應(yīng)用場(chǎng)景181
13.1.1　歌曲推薦181
13.1.2　QQ好友圈子的推薦功能182
13.1.3　今日頭條183
13.1.4　淘寶商品推薦184
13.1.5　Netflix電影推薦184
13.1.6　豆瓣FM的推薦185
13.1.7　為用戶定制的廣告185
13.1.8　蘋果APP排名的規(guī)則186
　13.2　推薦系統(tǒng)技術(shù)186
13.2.1　協(xié)同過(guò)濾187
13.2.2　基于內(nèi)容的推薦188
13.2.3　推薦系統(tǒng)的缺陷189
13.2.4　潛在因子算法190
13.2.5　參考實(shí)例：音樂(lè)推薦193
附錄A　數(shù)據(jù)挖掘技術(shù)總結(jié)197