大數(shù)據(jù)導(dǎo)論

大數(shù)據(jù)導(dǎo)論
數(shù)據(jù)與大數(shù)據(jù)時(shí)代1
1.1什么是大數(shù)據(jù)2
1.1.1天文學(xué)——信息爆炸的起源3
1.1.2大數(shù)據(jù)的定義6
1.1.3用3V描述大數(shù)據(jù)特征7
1.1.4廣義的大數(shù)據(jù)9
1.2大數(shù)據(jù)變革思維9
1.3大數(shù)據(jù)的結(jié)構(gòu)類(lèi)型10
1.4大數(shù)據(jù)的發(fā)展11
1.4.1硬件性價(jià)比提高與軟件技術(shù)進(jìn)步11
1.4.2云計(jì)算的普及12
1.4.3大數(shù)據(jù)作為BI的進(jìn)化形式12
1.4.4從交易數(shù)據(jù)分析到交互數(shù)據(jù)分析13第2章大數(shù)據(jù)的可視化19
2.1數(shù)據(jù)與可視化21
2.1.1數(shù)據(jù)的可變性22
2.1.2數(shù)據(jù)的不確定性23
2.1.3數(shù)據(jù)所依存的背景信息24
2.1.4打造最好的可視化效果25
2.2數(shù)據(jù)與圖形25
2.2.1數(shù)據(jù)與走勢(shì)26
2.2.2視覺(jué)信息的科學(xué)解釋28
2.2.3圖片和分享的力量29
2.3公共數(shù)據(jù)集30
2.4實(shí)時(shí)可視化31
2.5挑戰(zhàn)圖像的多變性32
2.6數(shù)據(jù)可視化的運(yùn)用332.6.1可視化對(duì)認(rèn)知的幫助34
2.6.27個(gè)數(shù)據(jù)類(lèi)型35
2.6.37個(gè)基本任務(wù)36
2.6.4數(shù)據(jù)可視化的挑戰(zhàn)38第3章大數(shù)據(jù)的商業(yè)規(guī)則45
3.1大數(shù)據(jù)的跨界年度46
3.2谷歌的大數(shù)據(jù)行動(dòng)47
3.3亞馬遜的大數(shù)據(jù)行動(dòng)49
3.4將信息變成一種競(jìng)爭(zhēng)優(yōu)勢(shì)50
3.4.1數(shù)據(jù)價(jià)格下降，數(shù)據(jù)需求上升51
3.4.2大數(shù)據(jù)應(yīng)用程序的興起52
3.4.3實(shí)時(shí)響應(yīng)，大數(shù)據(jù)用戶的新要求53
3.4.4企業(yè)構(gòu)建大數(shù)據(jù)戰(zhàn)略53
3.5大數(shù)據(jù)營(yíng)銷(xiāo)54
3.5.1像媒體公司一樣思考54
3.5.2營(yíng)銷(xiāo)面對(duì)新的機(jī)遇與挑戰(zhàn)55
3.5.3自動(dòng)化營(yíng)銷(xiāo)56
3.5.4為營(yíng)銷(xiāo)創(chuàng)建高容量和高價(jià)值的內(nèi)容57
3.5.5內(nèi)容營(yíng)銷(xiāo)57
3.5.6內(nèi)容創(chuàng)作與眾包58
3.5.7用投資回報(bào)率評(píng)價(jià)營(yíng)銷(xiāo)效果59第4章大數(shù)據(jù)時(shí)代的思維變革65
4.1大數(shù)據(jù)時(shí)代的大挑戰(zhàn)67
4.2轉(zhuǎn)變之一: 樣本=總體68
4.2.1小數(shù)據(jù)時(shí)代的隨機(jī)采樣68
4.2.2大數(shù)據(jù)與喬布斯的癌癥治療71
4.2.3全數(shù)據(jù)模式: 樣本=總體72
4.3轉(zhuǎn)變之二: 接受數(shù)據(jù)的混雜性74
4.3.1允許不精確74
4.3.2大數(shù)據(jù)的簡(jiǎn)單算法與小數(shù)據(jù)的復(fù)雜算法76
4.3.3紛繁的數(shù)據(jù)越多越好77
4.3.4混雜性是標(biāo)準(zhǔn)途徑78
4.3.5新的數(shù)據(jù)庫(kù)設(shè)計(jì)79
4.3.65%的數(shù)字?jǐn)?shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)81
4.4轉(zhuǎn)變之三: 數(shù)據(jù)的相關(guān)關(guān)系81
4.4.1關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵81
4.4.2“是什么”，而不是“為什么”84
4.4.3通過(guò)因果關(guān)系了解世界84
4.4.4通過(guò)相關(guān)關(guān)系了解世界86第5章大數(shù)據(jù)促進(jìn)醫(yī)療與健康93
5.1大數(shù)據(jù)與循證醫(yī)學(xué)95
5.2大數(shù)據(jù)帶來(lái)的醫(yī)療新突破96
5.2.1量化自我，關(guān)注個(gè)人健康97
5.2.2可穿戴的個(gè)人健康設(shè)備98
5.2.3大數(shù)據(jù)時(shí)代的醫(yī)療信息99
5.2.4CellMiner——對(duì)抗癌癥的新工具100
5.3醫(yī)療信息數(shù)字化102
5.4搜索: 超級(jí)大數(shù)據(jù)的最佳伙伴104
5.5數(shù)據(jù)決策的成功崛起105
5.5.1數(shù)據(jù)輔助診斷106
5.5.2你考慮過(guò)……了嗎106
5.5.3大數(shù)據(jù)分析使數(shù)據(jù)決策崛起107第6章大數(shù)據(jù)激發(fā)創(chuàng)造力112
6.1大數(shù)據(jù)幫助改善設(shè)計(jì)114
6.1.1少而精是設(shè)計(jì)的核心115
6.1.2與玩家共同設(shè)計(jì)游戲116
6.1.3以人為本的汽車(chē)設(shè)計(jì)理念116
6.1.4尋找最佳音響效果118
6.1.5建筑，數(shù)據(jù)取代直覺(jué)119
6.2大數(shù)據(jù)操作回路119
6.2.1信號(hào)與噪聲120
6.2.2大數(shù)據(jù)反饋回路120
6.2.3最小數(shù)據(jù)規(guī)模121
6.2.4大數(shù)據(jù)應(yīng)用程序的優(yōu)勢(shì)與作用121
6.3大數(shù)據(jù)資產(chǎn)的崛起122
6.3.1大數(shù)據(jù)催生嶄新的應(yīng)用程序122
6.3.2尋找大數(shù)據(jù)“空白”，提取最大價(jià)值122第7章大數(shù)據(jù)預(yù)測(cè)分析126
7.1什么是預(yù)測(cè)分析130
7.1.1預(yù)測(cè)分析的作用130
7.1.2行業(yè)應(yīng)用舉例131
7.2數(shù)據(jù)情感和情感數(shù)據(jù)132
7.2.1從博客觀察集體情感132
7.2.2預(yù)測(cè)分析博客中的情緒133
7.2.3影響情緒的重要因素——金錢(qián)135
7.3數(shù)據(jù)具有內(nèi)在預(yù)測(cè)性136
7.4情感的因果關(guān)系137
7.4.1焦慮指數(shù)與標(biāo)普500指數(shù)137
7.4.2驗(yàn)證情感和被驗(yàn)證的情感138
7.4.3情緒指標(biāo)影響金融市場(chǎng)139第8章大數(shù)據(jù)促進(jìn)學(xué)習(xí)149
8.1打造網(wǎng)絡(luò)教育體系152
8.1.1典型的網(wǎng)絡(luò)教育形式152
8.1.2未來(lái)的教育: 線上線下結(jié)合153
8.1.3跟蹤教學(xué)效果154
8.1.4形成學(xué)習(xí)能力155
8.2機(jī)器學(xué)習(xí)及其研究155
8.2.1什么是人工智能156
8.2.2什么是機(jī)器學(xué)習(xí)157
8.2.3基本結(jié)構(gòu)159
8.2.4研究領(lǐng)域160
8.3機(jī)器學(xué)習(xí)的分類(lèi)160
8.3.1基于學(xué)習(xí)策略的分類(lèi)160
8.3.2基于所獲取知識(shí)的表示形式分類(lèi)161
8.3.3按應(yīng)用領(lǐng)域分類(lèi)162
8.3.4按學(xué)習(xí)形式分類(lèi)162第9章大數(shù)據(jù)在云端171
9.1云端大數(shù)據(jù)173
9.1.1什么是云計(jì)算173
9.1.2云計(jì)算的服務(wù)形式174
9.1.3云計(jì)算與大數(shù)據(jù)175
9.1.4云基礎(chǔ)設(shè)施176
9.2計(jì)算虛擬化176
9.3大數(shù)據(jù)存儲(chǔ)177
9.3.1傳統(tǒng)存儲(chǔ)系統(tǒng)時(shí)代178
9.3.2大數(shù)據(jù)時(shí)代的新挑戰(zhàn)178
9.3.3分布式存儲(chǔ)180
9.3.4云存儲(chǔ)180
9.3.5大數(shù)據(jù)存儲(chǔ)的其他需求181
9.4網(wǎng)絡(luò)虛擬化182
9.4.1網(wǎng)卡虛擬化182
9.4.2虛擬交換機(jī)183
9.4.3接入層的虛擬化184
9.4.4覆蓋網(wǎng)絡(luò)虛擬化184
9.4.5軟件定義的網(wǎng)絡(luò)184
9.4.6對(duì)大數(shù)據(jù)處理的意義185
9.5數(shù)據(jù)即服務(wù)185
9.5.1數(shù)據(jù)應(yīng)用185
9.5.2數(shù)據(jù)清理185
9.5.3數(shù)據(jù)保密186
9.6云的挑戰(zhàn)186第10章支撐大數(shù)據(jù)的技術(shù)193
10.1開(kāi)源技術(shù)的商業(yè)支援195
10.2大數(shù)據(jù)的技術(shù)架構(gòu)196
10.3什么是Hadoop197
10.3.1什么是分布式系統(tǒng)197
10.3.2Hadoop的由來(lái)199
10.3.3Hadoop的優(yōu)勢(shì)200
10.3.4Hadoop的發(fā)行版本200
10.4大數(shù)據(jù)的數(shù)據(jù)處理基礎(chǔ)202
10.4.1Hadoop與NoSQL203
10.4.2NoSQL與RDBMS的主要區(qū)別204
10.4.3NewSQL206
10.5相關(guān)的大數(shù)據(jù)技術(shù)207
10.5.1神經(jīng)網(wǎng)絡(luò)207
10.5.2自然語(yǔ)言處理208
10.5.3語(yǔ)義檢索209
10.5.4鏈接挖掘210
10.5.5A/B測(cè)試210第11章數(shù)據(jù)科學(xué)與數(shù)據(jù)科學(xué)家217
11.1什么是數(shù)據(jù)科學(xué)218
11.2數(shù)據(jù)分析生命周期模型219
11.3數(shù)據(jù)科學(xué)家221
11.3.1大數(shù)據(jù)生態(tài)系統(tǒng)中的關(guān)鍵角色222
11.3.2數(shù)據(jù)科學(xué)家所需的技能223
11.3.3數(shù)據(jù)科學(xué)家所需的素質(zhì)226
11.3.4數(shù)據(jù)科學(xué)家的學(xué)習(xí)內(nèi)容227
11.4數(shù)據(jù)科學(xué)的重要技能229
11.4.1數(shù)據(jù)科學(xué)技能和熟練程度230
11.4.2重要數(shù)據(jù)科學(xué)技能230
11.4.3因職業(yè)角色而異的十大技能231
11.4.4職業(yè)角色的重要技能233第12章大數(shù)據(jù)的未來(lái)240
12.1消費(fèi)者的隱私權(quán)242
12.2連接開(kāi)放數(shù)據(jù)244
12.2.1LOD運(yùn)動(dòng)244
12.2.2對(duì)政府公開(kāi)的影響245
12.2.3利用開(kāi)放數(shù)據(jù)的創(chuàng)業(yè)型公司247
12.3數(shù)據(jù)市場(chǎng)的興起247
12.3.1Factual248
12.3.2Windows Azure Marketplace248
12.3.3Infochimps248
12.3.4Public Data Sets On AWS249
12.3.5不同的商業(yè)模式249
12.4將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)250
12.5大數(shù)據(jù)未來(lái)展望251
12.5.1大數(shù)據(jù)存儲(chǔ)和管理252
12.5.2傳統(tǒng)IT系統(tǒng)到大數(shù)據(jù)系統(tǒng)的過(guò)渡252
12.5.3大數(shù)據(jù)分析253
12.5.4大數(shù)據(jù)安全254
12.5.5數(shù)據(jù)科學(xué)254
參考文獻(xiàn)266