大數(shù)據(jù)技術(shù)及應(yīng)用教程（第2版）

第一部分大數(shù)據(jù)基礎(chǔ)知識
第1章大數(shù)據(jù)時代3
1.1數(shù)據(jù)時代3
1.1.1大數(shù)據(jù)時代的到來3
1.1.2數(shù)據(jù)、信息與知識的演進(jìn)3
1.1.3數(shù)據(jù)6
1.2大數(shù)據(jù)8
1.2.1什么是大數(shù)據(jù)8
1.2.2大數(shù)據(jù)發(fā)展歷史與現(xiàn)狀9
1.2.3大數(shù)據(jù)產(chǎn)業(yè)10
1.3大數(shù)據(jù)技術(shù)基礎(chǔ)10
1.3.1傳統(tǒng)的大數(shù)據(jù)處理流程10
1.3.2大數(shù)據(jù)核心技術(shù)11
1.3.3大數(shù)據(jù)技術(shù)分類12
1.3.4大數(shù)據(jù)分析的方法理論14
1.4大數(shù)據(jù)的社會價值15
1.5大數(shù)據(jù)的商業(yè)應(yīng)用16
1.5.1商業(yè)大數(shù)據(jù)的類型和價值挖掘方法16
1.5.2大數(shù)據(jù)的十大商業(yè)應(yīng)用場景17
1.5.3成為“大數(shù)據(jù)企業(yè)”19
1.6大數(shù)據(jù)應(yīng)用案例: 《非誠勿擾》男女嘉賓牽手?jǐn)?shù)據(jù)分析19
習(xí)題與思考題23
第2章大數(shù)據(jù)系統(tǒng)的基本架構(gòu)24
2.1大數(shù)據(jù)系統(tǒng)總體架構(gòu)24
2.2大數(shù)據(jù)技術(shù)框架25
2.3大數(shù)據(jù)技術(shù)進(jìn)展27
2.3.1典型的大數(shù)據(jù)技術(shù)棧28
2.3.2大數(shù)據(jù)技術(shù)生態(tài)28
2.4大數(shù)據(jù)應(yīng)用案例: 在“北上廣”打拼是怎樣一種體驗(yàn)30
習(xí)題與思考題34
〖3〗大數(shù)據(jù)技術(shù)及應(yīng)用教程(第2版)目錄〖3〗第二部分大數(shù)據(jù)理論與技術(shù)
第3章大數(shù)據(jù)系統(tǒng)輸入39
3.1大數(shù)據(jù)采集過程及數(shù)據(jù)來源39
3.1.1大數(shù)據(jù)采集來源39
3.1.2大數(shù)據(jù)采集過程40
3.2大數(shù)據(jù)采集方法40
3.3大數(shù)據(jù)導(dǎo)入/預(yù)處理42
3.3.1大數(shù)據(jù)導(dǎo)入/預(yù)處理的過程42
3.3.2數(shù)據(jù)清洗的過程44
3.3.3數(shù)據(jù)清洗與數(shù)據(jù)采集技術(shù)46
3.3.4基于大數(shù)據(jù)的數(shù)據(jù)預(yù)處理47
3.4數(shù)據(jù)集成49
3.4.1數(shù)據(jù)集成的概念49
3.4.2數(shù)據(jù)集成面臨的問題49
3.5數(shù)據(jù)變換49
3.5.1異構(gòu)數(shù)據(jù)分析50
3.5.2異構(gòu)數(shù)據(jù)交換策略51
3.5.3異構(gòu)數(shù)據(jù)交換技術(shù)52
3.6大數(shù)據(jù)應(yīng)用案例: 電影《爸爸去哪兒》大賣有前兆嗎54
習(xí)題與思考題61
第4章大數(shù)據(jù)系統(tǒng)處理63
4.1云計算63
4.1.1云計算系統(tǒng)的體系結(jié)構(gòu)63
4.1.2云計算的核心技術(shù)64
4.1.3云計算的主要服務(wù)形式68
4.1.4大數(shù)據(jù)平臺的作用69
4.2大數(shù)據(jù)存儲70
4.2.1海量數(shù)據(jù)的存儲需求71
4.2.2海量數(shù)據(jù)存儲技術(shù)71
4.2.3云存儲72
4.2.4NoSQL非結(jié)構(gòu)化數(shù)據(jù)庫73
4.2.5數(shù)據(jù)倉庫74
4.3大數(shù)據(jù)計算模式與處理系統(tǒng)75
4.3.1數(shù)據(jù)計算75
4.3.2聚類算法77
4.3.3數(shù)據(jù)集成77
4.3.4數(shù)據(jù)處理語言81
4.4大數(shù)據(jù)應(yīng)用案例: 北京人在哪兒上班和睡覺82
習(xí)題與思考題85
第5章大數(shù)據(jù)系統(tǒng)輸出87
5.1數(shù)據(jù)的查詢87
5.1.1在常規(guī)數(shù)據(jù)庫查詢結(jié)構(gòu)化數(shù)據(jù)87
5.1.2大數(shù)據(jù)時代的數(shù)據(jù)搜索87
5.1.3數(shù)據(jù)庫與信息檢索技術(shù)的比較89
5.2網(wǎng)絡(luò)數(shù)據(jù)索引與查詢技術(shù)90
5.2.1搜索引擎技術(shù)概述90
5.2.2Web搜索引擎的工作原理91
5.3大數(shù)據(jù)索引和查詢技術(shù)94
5.3.1大數(shù)據(jù)索引和查詢94
5.3.2大數(shù)據(jù)處理索引工具M(jìn)apReduce94
5.3.3相似性搜索工具96
5.4數(shù)據(jù)展現(xiàn)與交互98
5.4.1數(shù)據(jù)可視化98
5.4.2知識圖譜103
5.5大數(shù)據(jù)應(yīng)用案例: 上海的房子都被誰買走了105
習(xí)題與思考題109
第6章大數(shù)據(jù)分析與數(shù)據(jù)挖掘111
6.1大數(shù)據(jù)分析及其應(yīng)用111
6.1.1數(shù)據(jù)處理和分析的發(fā)展111
6.1.2大數(shù)據(jù)分析面對的數(shù)據(jù)類型113
6.1.3大數(shù)據(jù)分析與處理方法114
6.1.4數(shù)據(jù)分析的步驟114
6.1.5大數(shù)據(jù)分析的應(yīng)用116
6.2數(shù)據(jù)挖掘技術(shù)119
6.2.1數(shù)據(jù)挖掘的定義119
6.2.2利用數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)分析的常用方法120
6.2.3數(shù)據(jù)挖掘的功能121
6.2.4數(shù)據(jù)挖掘的流程122
6.2.5數(shù)據(jù)挖掘的應(yīng)用124
6.3商業(yè)智能與數(shù)據(jù)分析125
6.3.1商業(yè)智能技術(shù)輔助決策的發(fā)展125
6.3.2商業(yè)智能系統(tǒng)架構(gòu)125
6.3.3商業(yè)智能的技術(shù)體系125
6.3.4商務(wù)智能=數(shù)據(jù) 分析 決策 利益127
6.4大數(shù)據(jù)營銷業(yè)務(wù)模型128
6.4.1大數(shù)據(jù)對業(yè)務(wù)模式的影響128
6.4.2大數(shù)據(jù)營銷的定義與特點(diǎn)129
6.4.3網(wǎng)絡(luò)營銷大數(shù)據(jù)實(shí)際操作132
6.4.4大數(shù)據(jù)營銷方法135
6.5基于社會媒體的分析預(yù)測技術(shù)139
6.5.1基于空間大數(shù)據(jù)的社會感知139
6.5.2基于社會媒體的預(yù)測技術(shù)142
6.5.3基于消費(fèi)意圖挖掘的預(yù)測144
6.5.4基于事件抽取的預(yù)測146
6.5.5基于因果分析的預(yù)測147
6.6大數(shù)據(jù)應(yīng)用案例: 用大數(shù)據(jù)看風(fēng)水——以星巴克和海底撈的選址為例150
習(xí)題與思考題153
第7章大數(shù)據(jù)隱私與安全155
7.1大數(shù)據(jù)面臨的安全問題155
7.2大數(shù)據(jù)安全與隱私保護(hù)的關(guān)鍵技術(shù)159
7.2.1基于大數(shù)據(jù)的威脅發(fā)現(xiàn)技術(shù)159
7.2.2基于大數(shù)據(jù)的認(rèn)證技術(shù)160
7.2.3基于大數(shù)據(jù)的數(shù)據(jù)真實(shí)性分析161
7.2.4大數(shù)據(jù)與“安全即服務(wù)”162
7.3大數(shù)據(jù)安全的防護(hù)策略162
7.4大數(shù)據(jù)應(yīng)用案例: 數(shù)據(jù)解讀城市——北京本地人VS外地人163
習(xí)題與思考題172
第三部分大數(shù)據(jù)前沿技術(shù)及應(yīng)用
第8章大數(shù)據(jù)前沿技術(shù)及應(yīng)用概述175
8.1大數(shù)據(jù)技術(shù)發(fā)展趨勢175
8.2機(jī)器學(xué)習(xí)177
8.2.1機(jī)器學(xué)習(xí)的定義和例子177
8.2.2機(jī)器學(xué)習(xí)的范圍179
8.2.3機(jī)器學(xué)習(xí)的算法181
8.2.4機(jī)器學(xué)習(xí)的應(yīng)用——大數(shù)據(jù)186
8.3深度學(xué)習(xí)188
8.3.1深度學(xué)習(xí)的概念188
8.3.2深度學(xué)習(xí)的應(yīng)用190
8.4人工智能191
8.4.1大數(shù)據(jù)時代的人工智能192
8.4.2人工智能的應(yīng)用范例192
8.4.3人工智能概念與分類195
8.5大數(shù)據(jù)應(yīng)用案例： 神經(jīng)網(wǎng)絡(luò)——阿爾法圍棋（AlphaGo）196
第四部分行 業(yè) 案 例
第9章行業(yè)案例研究203
9.1銀行業(yè)應(yīng)用203
9.1.1大數(shù)據(jù)時代: 銀行如何玩轉(zhuǎn)數(shù)據(jù)挖掘203
9.1.2中國工商銀行客戶關(guān)系管理案例205
9.1.3銀行風(fēng)險管理208
9.2保險業(yè)應(yīng)用212
9.2.1保險業(yè)擁抱大數(shù)據(jù)時代或帶來顛覆性變革212
9.2.2保險欺詐識別214
9.3證券期貨應(yīng)用215
9.3.1安徽省使用大數(shù)據(jù)監(jiān)管證券期貨215
9.3.2大數(shù)據(jù)分析挖出基金“老鼠倉”的啟示216
9.4金融行業(yè)應(yīng)用217
9.4.1大數(shù)據(jù)決定互聯(lián)網(wǎng)金融未來217
9.4.2移動大數(shù)據(jù)在互聯(lián)網(wǎng)金融反欺詐領(lǐng)域的應(yīng)用220
9.5大數(shù)據(jù)應(yīng)用案例: 網(wǎng)民睡眠面面觀222
參考文獻(xiàn)224