大數(shù)據(jù)時代的數(shù)據(jù)挖掘

目 錄
第1章　數(shù)據(jù)挖掘簡介　1
1．1　大數(shù)據(jù)時代的數(shù)據(jù)挖掘　2
1．1．1　大數(shù)據(jù)的特點(diǎn)“4V+4V”　3
1．1．2　數(shù)據(jù)挖掘　5
1．1．3　從數(shù)據(jù)挖掘應(yīng)用的角度看大數(shù)據(jù)　7
1．2　數(shù)據(jù)挖掘技術(shù)的發(fā)展歷史　8
1．3　十大數(shù)據(jù)挖掘算法簡介　10
1．4　數(shù)據(jù)挖掘平臺：FIU-Miner　21
1．4．1　FIU-Miner平臺簡介　22
1．4．2　FIU-Miner系統(tǒng)架構(gòu)　22
1．4．3　FIU-Miner應(yīng)用實例　23
參考文獻(xiàn)　28
第2章　系統(tǒng)日志和事件的挖掘　31
2．1　數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)運(yùn)維　32
2．1．1　網(wǎng)絡(luò)運(yùn)維1．0階段：簡單數(shù)據(jù)處理　33
2．1．2　網(wǎng)絡(luò)運(yùn)維2．0階段：分布式大數(shù)據(jù)處理框架　34
2．1．3　網(wǎng)絡(luò)運(yùn)維3．0階段：網(wǎng)絡(luò)運(yùn)維平臺套件　34
2．1．4　網(wǎng)絡(luò)運(yùn)維4．0階段：智能化網(wǎng)絡(luò)運(yùn)維　35
2．2　系統(tǒng)日志分析的目的　35
2．2．1　系統(tǒng)問題診斷　36
2．2．2　調(diào)試與優(yōu)化　37
2．2．3　系統(tǒng)安全維護(hù)　37
2．3　日志數(shù)據(jù)分析管理系統(tǒng)的架構(gòu)　38
2．3．1　日志數(shù)據(jù)的收集和預(yù)處理　39
2．3．2　歷史日志數(shù)據(jù)存儲　39
2．3．3　日志事件數(shù)據(jù)的分析以及對分析結(jié)果的展示和使用　39
2．4　系統(tǒng)日志的數(shù)據(jù)形式　40
2．4．1　無結(jié)構(gòu)的日志數(shù)據(jù)　40
2．4．2　結(jié)構(gòu)化與半結(jié)構(gòu)化的日志數(shù)據(jù)　41
2．4．3　非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換　43
2．5　基于日志數(shù)據(jù)的異常檢測　44
2．5．1　基于監(jiān)督學(xué)習(xí)的異常檢測　44
2．5．2　基于無監(jiān)督學(xué)習(xí)的異常檢測　48
2．6　系統(tǒng)故障根源跟蹤　52
2．6．1　日志事件的依賴性挖掘　54
2．6．2　基于依賴關(guān)系的系統(tǒng)故障追蹤　65
2．7　日志事件總結(jié)　65
2．7．1　事件總結(jié)算法基本要求及相關(guān)工作　66
2．7．2　基于事件發(fā)生頻率變遷描述的事件總結(jié)　67
2．7．3　基于馬爾可夫模型描述的事件總結(jié)　67
2．7．4　基于事件關(guān)系網(wǎng)絡(luò)描述的事件總結(jié)　68
參考文獻(xiàn)　69
第3章　工作票數(shù)據(jù)挖掘　75
3．1　工作票簡介　76
3．2　工作票產(chǎn)生機(jī)制和亟待解決的問題　77
3．3　研究現(xiàn)狀　79
3．3．1　工作票分類　80
3．3．2　工作票推薦　82
3．3．3　整體解決方案和工具　84
3．4　工作票漏報和誤報檢測　84
3．4．1　漏報和誤報　84
3．4．2　基于規(guī)則的誤報識別方法　86
3．4．3　半監(jiān)督的工作票漏報發(fā)現(xiàn)方法　89
3．4．4　評價　92
3．5　層次多標(biāo)簽工作票分類　96
3．5．1　問題描述　98
3．5．2　層次損失函數(shù)和期望損失最小化　98
3．5．3　算法和解決方案　102
3．5．4　實驗　104
3．6　工作票解決方案推薦　108
3．6．1　背景　108
3．6．2　基于KNN的推薦方法　109
3．6．3　劃分方法　111
3．6．4　概率融合方法　112
3．6．5　度量學(xué)習(xí)方法　113
3．6．6　實驗　116
參考文獻(xiàn)　126
第4章　大數(shù)據(jù)與計算可持續(xù)性研究　131
4．1　大數(shù)據(jù)與可持續(xù)發(fā)展　132
4．1．1　可持續(xù)發(fā)展　132
4．1．2　大數(shù)據(jù)時代可持續(xù)發(fā)展面臨的機(jī)遇和挑戰(zhàn)　133
4．2　計算可持續(xù)性　133
4．2．1　計算可持續(xù)性數(shù)據(jù)及其特征　134
4．2．2　大數(shù)據(jù)環(huán)境下計算可持續(xù)性研究現(xiàn)狀　137
4．3　研究案例　142
4．3．1　基于數(shù)據(jù)驅(qū)動的氣象分析　142
4．3．2　基于數(shù)據(jù)驅(qū)動的建筑能耗分析　145
參考文獻(xiàn)　155
第5章　推薦系統(tǒng)　159
5．1　個性化推薦系統(tǒng)概述　160
5．2　推薦技術(shù)　163
5．2．1　基于內(nèi)容的推薦系統(tǒng)　163
5．2．2　基于協(xié)同過濾的推薦系統(tǒng)　164
5．2．3　基于知識的推薦系統(tǒng)　165
5．2．4　基于混合技術(shù)的推薦系統(tǒng)　165
5．2．5　基于計算智能的推薦系統(tǒng)　166
5．2．6　基于社交網(wǎng)絡(luò)的推薦系統(tǒng)　167
5．2．7　基于上下文敏感的推薦系統(tǒng)　169
5．2．8　基于組群的推薦系統(tǒng)　170
5．3　推薦系統(tǒng)評測　170
5．3．1　推薦系統(tǒng)評測環(huán)境　171
5．3．2　推薦系統(tǒng)評測指標(biāo)　174
5．4　推薦系統(tǒng)實例　181
5．4．1　新聞推薦　181
5．4．2　POI推薦　190
參考文獻(xiàn)　198
第6章　智能問答系統(tǒng)　203
6．1　發(fā)展歷史　204
6．2　句法分析　205
6．2．1　中文分詞技術(shù)　205
6．2．2　詞的分類和兼類　207
6．2．3　漢語句法分析　208
6．3　問題理解　210
6．3．1　詞法分析　210
6．3．2　問題分類　210
6．3．3　關(guān)鍵詞擴(kuò)展與抽取　211
6．3．4　答案抽取　212
6．4　問題檢索　212
6．4．1　基于詞法的問句檢索　212
6．4．2　基于句法的問句檢索　213
6．4．3　基于語義的問句檢索　213
6．4．4　常見問題集的問句檢索　213
6．5　信息抽取　214
6．5．1　抽取的對象　214
6．5．2　抽取的種類　215
6．5．3　抽取的方法　215
6．6　知識庫構(gòu)建　217
6．6．1　基本概念　217
6．6．2　體系結(jié)構(gòu)　218
6．6．3　關(guān)鍵技術(shù)　219
6．7　知識推理　223
6．7．1　線索挖掘　223
6．7．2　關(guān)系推理　224
6．7．3　關(guān)系預(yù)測　225
6．8　案例分析　225
6．8．1　限定域系統(tǒng)的現(xiàn)有案例分析　225
6．8．2　開放域系統(tǒng)的現(xiàn)有案例分析　233
參考文獻(xiàn)　238
第7章　文本挖掘　245
7．1　文本表示　246
7．2　話題挖掘　248
7．2．1　非負(fù)矩陣分解　248
7．2．2　概率潛在語義分析　249
7．2．3　潛在狄利克雷分配模型　250
7．2．4　分析與實例比較　251
7．3　多文檔自動文摘　253
7．3．1　目標(biāo)函數(shù)選擇：句子重要性評價　253
7．3．2　優(yōu)化方法　257
7．3．3　其他的自動文摘問題　258
7．3．4　實例分析　259
7．4　情感分析和摘要　262
7．4．1　基于頻繁項集的方法　264
7．4．2　實例分析　266
7．4．3　基于方面的話題模型分析方法　267
7．5　數(shù)據(jù)挖掘在專利分析中的應(yīng)用　272
7．5．1　專利分析的內(nèi)容、流程與方法　273
7．5．2　數(shù)據(jù)挖掘在專利分析中的應(yīng)用方向　278
參考文獻(xiàn)　284
第8章　多媒體數(shù)據(jù)挖掘　291
8．1　多媒體技術(shù)的特點(diǎn)　292
8．1．1　數(shù)字化　292
8．1．2　多樣性　293
8．1．3　集成性　293
8．1．4　交互性　293
8．1．5　非線性　294
8．1．6　實時性　294
8．2　多媒體數(shù)據(jù)挖掘概述　294
8．2．1　背景　294
8．2．2　研究及應(yīng)用現(xiàn)狀　295
8．3　多媒體數(shù)據(jù)的特征抽取　296
8．3．1　文本特征抽取　296
8．3．2　圖像特征表示　297
8．4　數(shù)據(jù)挖掘在圖像檢索中的應(yīng)用　300
8．4．1　應(yīng)用背景　300
8．4．2　數(shù)據(jù)集描述　302
8．4．3　數(shù)據(jù)挖掘在圖像檢索中的算法分析　304
8．4．4　圖像檢索案例　306
8．5　數(shù)據(jù)挖掘在多媒體信息融合中的應(yīng)用　312
8．5．1　應(yīng)用背景　313
8．5．2　數(shù)據(jù)集描述　314
8．5．3　數(shù)據(jù)挖掘在多媒體信息融合中的算法分析　315
8．5．4　多媒體信息融合案例　317
8．6　數(shù)據(jù)挖掘在人臉識別中的應(yīng)用　334
8．6．1　應(yīng)用背景　334
8．6．2　數(shù)據(jù)集描述　336
8．6．3　人臉識別算法分析　338
8．6．4　分布式人臉識別系統(tǒng)設(shè)計　348
參考文獻(xiàn)　350
第9章　社交媒體挖掘　355
9．1　社交媒體數(shù)據(jù)挖掘簡介　356
9．1．1　社交媒體分析的特點(diǎn)綜述　357
9．1．2　社交媒體的典型應(yīng)用　358
9．2　社交網(wǎng)絡(luò)數(shù)據(jù)　360
9．3　數(shù)據(jù)挖掘在社交媒體熱點(diǎn)問題上的應(yīng)用　362
9．3．1　社交媒體數(shù)據(jù)挖掘需求　362
9．3．2　信息擴(kuò)散分析　362
9．3．3　鏈接的預(yù)測　366
9．3．4　專家與關(guān)鍵人物的挖掘　371
9．3．5　搜索　380
9．3．6　信任　385
9．3．7　社交網(wǎng)絡(luò)的內(nèi)容與情感挖掘　388
參考文獻(xiàn)　389
第10章　時空數(shù)據(jù)挖掘　395
10．1　時空數(shù)據(jù)挖掘的發(fā)展背景　396
10．2　時空數(shù)據(jù)挖掘的相關(guān)研究　397
10．2．1　時空數(shù)據(jù)的來源　397
10．2．2　時空數(shù)據(jù)的基本性質(zhì)　398
10．2．3　時空數(shù)據(jù)挖掘的方法與任務(wù)　399
10．3　時空數(shù)據(jù)的模式挖掘　403
10．3．1　時空數(shù)據(jù)的頻繁模式　403
10．3．2　時空數(shù)據(jù)的異常模式　404
10．4　時空數(shù)據(jù)的聚類和分類　406
10．4．1　時空數(shù)據(jù)的聚類　406
10．4．2　時空數(shù)據(jù)的分類　410
10．5　時空數(shù)據(jù)預(yù)測　411
10．5．1　位置預(yù)測　412
10．5．2　位置推薦　412
10．6　時空數(shù)據(jù)挖掘的案例研究　413
10．6．1　TerryFly GeoCloud　413
10．6．2　NUPT-ST-Miner　420
10．7　時空數(shù)據(jù)挖掘的挑戰(zhàn)和發(fā)展　428
參考文獻(xiàn)　430
第11章　生物信息學(xué)　437
11．1　生物醫(yī)學(xué)知識綜述　438
11．2　生物醫(yī)學(xué)大數(shù)據(jù)　441
11．3　數(shù)據(jù)挖掘在蛋白質(zhì)與核酸相互作用研究中的應(yīng)用　442
11．3．1　基于機(jī)器學(xué)習(xí)的蛋白質(zhì)與核酸相互作用的研究策略　443
11．3．2　案例分析：蛋白質(zhì)中RNA—結(jié)合殘基的預(yù)測模型　445
11．4　數(shù)據(jù)挖掘在生物醫(yī)學(xué)文獻(xiàn)中的應(yīng)用　448
11．4．1　生物醫(yī)學(xué)文獻(xiàn)挖掘概述　448
11．4．2　數(shù)據(jù)挖掘應(yīng)用方法描述　450
11．5　數(shù)據(jù)挖掘在基因表達(dá)數(shù)據(jù)中的應(yīng)用　463
11．5．1　基因芯片技術(shù)　463
11．5．2　下一代高通量測序技術(shù)　463
11．5．3　RNA-Seq 技術(shù)與基因芯片技術(shù)的比較　464
11．5．4　數(shù)據(jù)挖掘在下一代高通量RNA-Seq測序數(shù)據(jù)中的應(yīng)用　465
參考文獻(xiàn)　468
第12章　隱私保護(hù)和數(shù)據(jù)挖掘　473
12．1　隱私保護(hù)概述　474
12．1．1　隱私侵害事件　474
12．1．2　隱私保護(hù)困境　475
12．1．3　隱私保護(hù)要求　477
12．1．4　隱私保護(hù)水平度量　477
12．2　隱私保護(hù)技術(shù)分類　478
12．2．1　匿名化技術(shù)　478
12．2．2　加密技術(shù)　480
12．2．3　數(shù)據(jù)擾動技術(shù)　481
12．3　隱私保護(hù)數(shù)據(jù)挖掘方法　485
12．3．1　隱私保護(hù)聚類　486
12．3．2　隱私保護(hù)決策樹　488
12．3．3　隱私保護(hù)推薦系統(tǒng)　490
12．3．4　隱私保護(hù)貝葉斯算法　492
12．3．5　隱私保護(hù)支持向量機(jī)　493
12．3．6　隱私保護(hù)關(guān)聯(lián)規(guī)則挖掘　494
12．4　復(fù)雜數(shù)據(jù)挖掘場景下的隱私保護(hù)　495
12．4．1　大數(shù)據(jù)隱私保護(hù)　495
12．4．2　圖數(shù)據(jù)隱私保護(hù)　498
12．4．3　云數(shù)據(jù)隱私保護(hù)　499
12．4．4　隱私保護(hù)深度學(xué)習(xí)　500
參考文獻(xiàn)　501
第13章　健康醫(yī)療大數(shù)據(jù)中的數(shù)據(jù)挖掘技術(shù)　507
13．1　健康醫(yī)療大數(shù)據(jù)的含義　508
13．2　數(shù)據(jù)特性　509
13．3　預(yù)警系統(tǒng)　510
13．3．1　數(shù)據(jù)預(yù)處理　513
13．3．2　Bucketing　514
13．3．3　Bucket Bagging　514
13．3．4　特征集構(gòu)造　515
13．3．5　特征選擇　517
13．3．6　探索性下采樣　518
13．3．7　指數(shù)移動平均　519
13．4　非結(jié)構(gòu)化文本信息的挖掘　519
13．5　數(shù)據(jù)挖掘?qū)嵗?20
13．5．1　評價標(biāo)準(zhǔn)　521
13．5．2　實驗設(shè)計　521
13．5．3　邏輯回歸模型的實驗結(jié)果　522
13．5．4　算法比較　523
13．5．5　預(yù)警時間分析　525
13．6　應(yīng)用方向　526
13．6．1　疾病預(yù)警預(yù)測及生存期分析　527
13．6．2　疾病輔助診斷治療　527
13．6．3　藥物研究　528
13．6．4　醫(yī)學(xué)影像　528
13．6．5　醫(yī)院信息系統(tǒng)　529
13．6．6　遠(yuǎn)程醫(yī)療　530
13．6．7　健康數(shù)據(jù)庫管理　531
13．6．8　醫(yī)療健康相關(guān)企業(yè)經(jīng)營　531
參考文獻(xiàn)　532