大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘

目 錄
第1章　數(shù)據(jù)挖掘簡(jiǎn)介　1
1．1　大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘　2
1．1．1　大數(shù)據(jù)的特點(diǎn)“4V+4V”　3
1．1．2　數(shù)據(jù)挖掘　5
1．1．3　從數(shù)據(jù)挖掘應(yīng)用的角度看大數(shù)據(jù)　7
1．2　數(shù)據(jù)挖掘技術(shù)的發(fā)展歷史　8
1．3　十大數(shù)據(jù)挖掘算法簡(jiǎn)介　10
1．4　數(shù)據(jù)挖掘平臺(tái)：FIU-Miner　21
1．4．1　FIU-Miner平臺(tái)簡(jiǎn)介　22
1．4．2　FIU-Miner系統(tǒng)架構(gòu)　22
1．4．3　FIU-Miner應(yīng)用實(shí)例　23
參考文獻(xiàn)　28
第2章　系統(tǒng)日志和事件的挖掘　31
2．1　數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)運(yùn)維　32
2．1．1　網(wǎng)絡(luò)運(yùn)維1．0階段：簡(jiǎn)單數(shù)據(jù)處理　33
2．1．2　網(wǎng)絡(luò)運(yùn)維2．0階段：分布式大數(shù)據(jù)處理框架　34
2．1．3　網(wǎng)絡(luò)運(yùn)維3．0階段：網(wǎng)絡(luò)運(yùn)維平臺(tái)套件　34
2．1．4　網(wǎng)絡(luò)運(yùn)維4．0階段：智能化網(wǎng)絡(luò)運(yùn)維　35
2．2　系統(tǒng)日志分析的目的　35
2．2．1　系統(tǒng)問(wèn)題診斷　36
2．2．2　調(diào)試與優(yōu)化　37
2．2．3　系統(tǒng)安全維護(hù)　37
2．3　日志數(shù)據(jù)分析管理系統(tǒng)的架構(gòu)　38
2．3．1　日志數(shù)據(jù)的收集和預(yù)處理　39
2．3．2　歷史日志數(shù)據(jù)存儲(chǔ)　39
2．3．3　日志事件數(shù)據(jù)的分析以及對(duì)分析結(jié)果的展示和使用　39
2．4　系統(tǒng)日志的數(shù)據(jù)形式　40
2．4．1　無(wú)結(jié)構(gòu)的日志數(shù)據(jù)　40
2．4．2　結(jié)構(gòu)化與半結(jié)構(gòu)化的日志數(shù)據(jù)　41
2．4．3　非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換　43
2．5　基于日志數(shù)據(jù)的異常檢測(cè)　44
2．5．1　基于監(jiān)督學(xué)習(xí)的異常檢測(cè)　44
2．5．2　基于無(wú)監(jiān)督學(xué)習(xí)的異常檢測(cè)　48
2．6　系統(tǒng)故障根源跟蹤　52
2．6．1　日志事件的依賴(lài)性挖掘　54
2．6．2　基于依賴(lài)關(guān)系的系統(tǒng)故障追蹤　65
2．7　日志事件總結(jié)　65
2．7．1　事件總結(jié)算法基本要求及相關(guān)工作　66
2．7．2　基于事件發(fā)生頻率變遷描述的事件總結(jié)　67
2．7．3　基于馬爾可夫模型描述的事件總結(jié)　67
2．7．4　基于事件關(guān)系網(wǎng)絡(luò)描述的事件總結(jié)　68
參考文獻(xiàn)　69
第3章　工作票數(shù)據(jù)挖掘　75
3．1　工作票簡(jiǎn)介　76
3．2　工作票產(chǎn)生機(jī)制和亟待解決的問(wèn)題　77
3．3　研究現(xiàn)狀　79
3．3．1　工作票分類(lèi)　80
3．3．2　工作票推薦　82
3．3．3　整體解決方案和工具　84
3．4　工作票漏報(bào)和誤報(bào)檢測(cè)　84
3．4．1　漏報(bào)和誤報(bào)　84
3．4．2　基于規(guī)則的誤報(bào)識(shí)別方法　86
3．4．3　半監(jiān)督的工作票漏報(bào)發(fā)現(xiàn)方法　89
3．4．4　評(píng)價(jià)　92
3．5　層次多標(biāo)簽工作票分類(lèi)　96
3．5．1　問(wèn)題描述　98
3．5．2　層次損失函數(shù)和期望損失最小化　98
3．5．3　算法和解決方案　102
3．5．4　實(shí)驗(yàn)　104
3．6　工作票解決方案推薦　108
3．6．1　背景　108
3．6．2　基于KNN的推薦方法　109
3．6．3　劃分方法　111
3．6．4　概率融合方法　112
3．6．5　度量學(xué)習(xí)方法　113
3．6．6　實(shí)驗(yàn)　116
參考文獻(xiàn)　126
第4章　大數(shù)據(jù)與計(jì)算可持續(xù)性研究　131
4．1　大數(shù)據(jù)與可持續(xù)發(fā)展　132
4．1．1　可持續(xù)發(fā)展　132
4．1．2　大數(shù)據(jù)時(shí)代可持續(xù)發(fā)展面臨的機(jī)遇和挑戰(zhàn)　133
4．2　計(jì)算可持續(xù)性　133
4．2．1　計(jì)算可持續(xù)性數(shù)據(jù)及其特征　134
4．2．2　大數(shù)據(jù)環(huán)境下計(jì)算可持續(xù)性研究現(xiàn)狀　137
4．3　研究案例　142
4．3．1　基于數(shù)據(jù)驅(qū)動(dòng)的氣象分析　142
4．3．2　基于數(shù)據(jù)驅(qū)動(dòng)的建筑能耗分析　145
參考文獻(xiàn)　155
第5章　推薦系統(tǒng)　159
5．1　個(gè)性化推薦系統(tǒng)概述　160
5．2　推薦技術(shù)　163
5．2．1　基于內(nèi)容的推薦系統(tǒng)　163
5．2．2　基于協(xié)同過(guò)濾的推薦系統(tǒng)　164
5．2．3　基于知識(shí)的推薦系統(tǒng)　165
5．2．4　基于混合技術(shù)的推薦系統(tǒng)　165
5．2．5　基于計(jì)算智能的推薦系統(tǒng)　166
5．2．6　基于社交網(wǎng)絡(luò)的推薦系統(tǒng)　167
5．2．7　基于上下文敏感的推薦系統(tǒng)　169
5．2．8　基于組群的推薦系統(tǒng)　170
5．3　推薦系統(tǒng)評(píng)測(cè)　170
5．3．1　推薦系統(tǒng)評(píng)測(cè)環(huán)境　171
5．3．2　推薦系統(tǒng)評(píng)測(cè)指標(biāo)　174
5．4　推薦系統(tǒng)實(shí)例　181
5．4．1　新聞推薦　181
5．4．2　POI推薦　190
參考文獻(xiàn)　198
第6章　智能問(wèn)答系統(tǒng)　203
6．1　發(fā)展歷史　204
6．2　句法分析　205
6．2．1　中文分詞技術(shù)　205
6．2．2　詞的分類(lèi)和兼類(lèi)　207
6．2．3　漢語(yǔ)句法分析　208
6．3　問(wèn)題理解　210
6．3．1　詞法分析　210
6．3．2　問(wèn)題分類(lèi)　210
6．3．3　關(guān)鍵詞擴(kuò)展與抽取　211
6．3．4　答案抽取　212
6．4　問(wèn)題檢索　212
6．4．1　基于詞法的問(wèn)句檢索　212
6．4．2　基于句法的問(wèn)句檢索　213
6．4．3　基于語(yǔ)義的問(wèn)句檢索　213
6．4．4　常見(jiàn)問(wèn)題集的問(wèn)句檢索　213
6．5　信息抽取　214
6．5．1　抽取的對(duì)象　214
6．5．2　抽取的種類(lèi)　215
6．5．3　抽取的方法　215
6．6　知識(shí)庫(kù)構(gòu)建　217
6．6．1　基本概念　217
6．6．2　體系結(jié)構(gòu)　218
6．6．3　關(guān)鍵技術(shù)　219
6．7　知識(shí)推理　223
6．7．1　線(xiàn)索挖掘　223
6．7．2　關(guān)系推理　224
6．7．3　關(guān)系預(yù)測(cè)　225
6．8　案例分析　225
6．8．1　限定域系統(tǒng)的現(xiàn)有案例分析　225
6．8．2　開(kāi)放域系統(tǒng)的現(xiàn)有案例分析　233
參考文獻(xiàn)　238
第7章　文本挖掘　245
7．1　文本表示　246
7．2　話(huà)題挖掘　248
7．2．1　非負(fù)矩陣分解　248
7．2．2　概率潛在語(yǔ)義分析　249
7．2．3　潛在狄利克雷分配模型　250
7．2．4　分析與實(shí)例比較　251
7．3　多文檔自動(dòng)文摘　253
7．3．1　目標(biāo)函數(shù)選擇：句子重要性評(píng)價(jià)　253
7．3．2　優(yōu)化方法　257
7．3．3　其他的自動(dòng)文摘問(wèn)題　258
7．3．4　實(shí)例分析　259
7．4　情感分析和摘要　262
7．4．1　基于頻繁項(xiàng)集的方法　264
7．4．2　實(shí)例分析　266
7．4．3　基于方面的話(huà)題模型分析方法　267
7．5　數(shù)據(jù)挖掘在專(zhuān)利分析中的應(yīng)用　272
7．5．1　專(zhuān)利分析的內(nèi)容、流程與方法　273
7．5．2　數(shù)據(jù)挖掘在專(zhuān)利分析中的應(yīng)用方向　278
參考文獻(xiàn)　284
第8章　多媒體數(shù)據(jù)挖掘　291
8．1　多媒體技術(shù)的特點(diǎn)　292
8．1．1　數(shù)字化　292
8．1．2　多樣性　293
8．1．3　集成性　293
8．1．4　交互性　293
8．1．5　非線(xiàn)性　294
8．1．6　實(shí)時(shí)性　294
8．2　多媒體數(shù)據(jù)挖掘概述　294
8．2．1　背景　294
8．2．2　研究及應(yīng)用現(xiàn)狀　295
8．3　多媒體數(shù)據(jù)的特征抽取　296
8．3．1　文本特征抽取　296
8．3．2　圖像特征表示　297
8．4　數(shù)據(jù)挖掘在圖像檢索中的應(yīng)用　300
8．4．1　應(yīng)用背景　300
8．4．2　數(shù)據(jù)集描述　302
8．4．3　數(shù)據(jù)挖掘在圖像檢索中的算法分析　304
8．4．4　圖像檢索案例　306
8．5　數(shù)據(jù)挖掘在多媒體信息融合中的應(yīng)用　312
8．5．1　應(yīng)用背景　313
8．5．2　數(shù)據(jù)集描述　314
8．5．3　數(shù)據(jù)挖掘在多媒體信息融合中的算法分析　315
8．5．4　多媒體信息融合案例　317
8．6　數(shù)據(jù)挖掘在人臉識(shí)別中的應(yīng)用　334
8．6．1　應(yīng)用背景　334
8．6．2　數(shù)據(jù)集描述　336
8．6．3　人臉識(shí)別算法分析　338
8．6．4　分布式人臉識(shí)別系統(tǒng)設(shè)計(jì)　348
參考文獻(xiàn)　350
第9章　社交媒體挖掘　355
9．1　社交媒體數(shù)據(jù)挖掘簡(jiǎn)介　356
9．1．1　社交媒體分析的特點(diǎn)綜述　357
9．1．2　社交媒體的典型應(yīng)用　358
9．2　社交網(wǎng)絡(luò)數(shù)據(jù)　360
9．3　數(shù)據(jù)挖掘在社交媒體熱點(diǎn)問(wèn)題上的應(yīng)用　362
9．3．1　社交媒體數(shù)據(jù)挖掘需求　362
9．3．2　信息擴(kuò)散分析　362
9．3．3　鏈接的預(yù)測(cè)　366
9．3．4　專(zhuān)家與關(guān)鍵人物的挖掘　371
9．3．5　搜索　380
9．3．6　信任　385
9．3．7　社交網(wǎng)絡(luò)的內(nèi)容與情感挖掘　388
參考文獻(xiàn)　389
第10章　時(shí)空數(shù)據(jù)挖掘　395
10．1　時(shí)空數(shù)據(jù)挖掘的發(fā)展背景　396
10．2　時(shí)空數(shù)據(jù)挖掘的相關(guān)研究　397
10．2．1　時(shí)空數(shù)據(jù)的來(lái)源　397
10．2．2　時(shí)空數(shù)據(jù)的基本性質(zhì)　398
10．2．3　時(shí)空數(shù)據(jù)挖掘的方法與任務(wù)　399
10．3　時(shí)空數(shù)據(jù)的模式挖掘　403
10．3．1　時(shí)空數(shù)據(jù)的頻繁模式　403
10．3．2　時(shí)空數(shù)據(jù)的異常模式　404
10．4　時(shí)空數(shù)據(jù)的聚類(lèi)和分類(lèi)　406
10．4．1　時(shí)空數(shù)據(jù)的聚類(lèi)　406
10．4．2　時(shí)空數(shù)據(jù)的分類(lèi)　410
10．5　時(shí)空數(shù)據(jù)預(yù)測(cè)　411
10．5．1　位置預(yù)測(cè)　412
10．5．2　位置推薦　412
10．6　時(shí)空數(shù)據(jù)挖掘的案例研究　413
10．6．1　TerryFly GeoCloud　413
10．6．2　NUPT-ST-Miner　420
10．7　時(shí)空數(shù)據(jù)挖掘的挑戰(zhàn)和發(fā)展　428
參考文獻(xiàn)　430
第11章　生物信息學(xué)　437
11．1　生物醫(yī)學(xué)知識(shí)綜述　438
11．2　生物醫(yī)學(xué)大數(shù)據(jù)　441
11．3　數(shù)據(jù)挖掘在蛋白質(zhì)與核酸相互作用研究中的應(yīng)用　442
11．3．1　基于機(jī)器學(xué)習(xí)的蛋白質(zhì)與核酸相互作用的研究策略　443
11．3．2　案例分析：蛋白質(zhì)中RNA—結(jié)合殘基的預(yù)測(cè)模型　445
11．4　數(shù)據(jù)挖掘在生物醫(yī)學(xué)文獻(xiàn)中的應(yīng)用　448
11．4．1　生物醫(yī)學(xué)文獻(xiàn)挖掘概述　448
11．4．2　數(shù)據(jù)挖掘應(yīng)用方法描述　450
11．5　數(shù)據(jù)挖掘在基因表達(dá)數(shù)據(jù)中的應(yīng)用　463
11．5．1　基因芯片技術(shù)　463
11．5．2　下一代高通量測(cè)序技術(shù)　463
11．5．3　RNA-Seq 技術(shù)與基因芯片技術(shù)的比較　464
11．5．4　數(shù)據(jù)挖掘在下一代高通量RNA-Seq測(cè)序數(shù)據(jù)中的應(yīng)用　465
參考文獻(xiàn)　468
第12章　隱私保護(hù)和數(shù)據(jù)挖掘　473
12．1　隱私保護(hù)概述　474
12．1．1　隱私侵害事件　474
12．1．2　隱私保護(hù)困境　475
12．1．3　隱私保護(hù)要求　477
12．1．4　隱私保護(hù)水平度量　477
12．2　隱私保護(hù)技術(shù)分類(lèi)　478
12．2．1　匿名化技術(shù)　478
12．2．2　加密技術(shù)　480
12．2．3　數(shù)據(jù)擾動(dòng)技術(shù)　481
12．3　隱私保護(hù)數(shù)據(jù)挖掘方法　485
12．3．1　隱私保護(hù)聚類(lèi)　486
12．3．2　隱私保護(hù)決策樹(shù)　488
12．3．3　隱私保護(hù)推薦系統(tǒng)　490
12．3．4　隱私保護(hù)貝葉斯算法　492
12．3．5　隱私保護(hù)支持向量機(jī)　493
12．3．6　隱私保護(hù)關(guān)聯(lián)規(guī)則挖掘　494
12．4　復(fù)雜數(shù)據(jù)挖掘場(chǎng)景下的隱私保護(hù)　495
12．4．1　大數(shù)據(jù)隱私保護(hù)　495
12．4．2　圖數(shù)據(jù)隱私保護(hù)　498
12．4．3　云數(shù)據(jù)隱私保護(hù)　499
12．4．4　隱私保護(hù)深度學(xué)習(xí)　500
參考文獻(xiàn)　501
第13章　健康醫(yī)療大數(shù)據(jù)中的數(shù)據(jù)挖掘技術(shù)　507
13．1　健康醫(yī)療大數(shù)據(jù)的含義　508
13．2　數(shù)據(jù)特性　509
13．3　預(yù)警系統(tǒng)　510
13．3．1　數(shù)據(jù)預(yù)處理　513
13．3．2　Bucketing　514
13．3．3　Bucket Bagging　514
13．3．4　特征集構(gòu)造　515
13．3．5　特征選擇　517
13．3．6　探索性下采樣　518
13．3．7　指數(shù)移動(dòng)平均　519
13．4　非結(jié)構(gòu)化文本信息的挖掘　519
13．5　數(shù)據(jù)挖掘?qū)嵗?20
13．5．1　評(píng)價(jià)標(biāo)準(zhǔn)　521
13．5．2　實(shí)驗(yàn)設(shè)計(jì)　521
13．5．3　邏輯回歸模型的實(shí)驗(yàn)結(jié)果　522
13．5．4　算法比較　523
13．5．5　預(yù)警時(shí)間分析　525
13．6　應(yīng)用方向　526
13．6．1　疾病預(yù)警預(yù)測(cè)及生存期分析　527
13．6．2　疾病輔助診斷治療　527
13．6．3　藥物研究　528
13．6．4　醫(yī)學(xué)影像　528
13．6．5　醫(yī)院信息系統(tǒng)　529
13．6．6　遠(yuǎn)程醫(yī)療　530
13．6．7　健康數(shù)據(jù)庫(kù)管理　531
13．6．8　醫(yī)療健康相關(guān)企業(yè)經(jīng)營(yíng)　531
參考文獻(xiàn)　532