大數(shù)據(jù)技術架構：核心原理與應用實踐

1 大數(shù)據(jù)的前世今生與應用場景\t1
大數(shù)據(jù)的前世今生：大數(shù)據(jù)簡史與大數(shù)據(jù)生態(tài)體系概述\t1
從搜索引擎到人工智能：大數(shù)據(jù)應用發(fā)展史\t6
大數(shù)據(jù)應用的搜索引擎時代\t6
大數(shù)據(jù)應用的數(shù)據(jù)倉庫時代\t7
大數(shù)據(jù)應用的數(shù)據(jù)挖掘時代\t7
大數(shù)據(jù)應用的機器學習時代\t8
數(shù)據(jù)驅動一切：大數(shù)據(jù)全領域應用場景分析\t10
大數(shù)據(jù)在醫(yī)療健康領域的應用\t10
大數(shù)據(jù)在社交媒體領域的應用\t12
大數(shù)據(jù)在金融領域的應用\t13
大數(shù)據(jù)在新零售領域的應用\t13
大數(shù)據(jù)在交通領域的應用\t13
2 Hadoop大數(shù)據(jù)原理與架構\t15
移動計算比移動數(shù)據(jù)更劃算\t16
從RAID看垂直伸縮到水平伸縮的演化\t19
新技術層出不窮，HDFS依然是存儲的王者\t23
為什么說MapReduce既是編程模型又是計算框架\t29
MapReduce如何讓數(shù)據(jù)完成一次旅行\(zhòng)t33
MapReduce作業(yè)啟動和運行機制\t34
MapReduce數(shù)據(jù)合并與連接機制\t37
為什么把Yarn稱為資源調度框架\t39
程序員應該如何學好大數(shù)據(jù)技術\t44
3 大數(shù)據(jù)生態(tài)體系主要產(chǎn)品原理與架構\t47
Hive是如何讓MapReduce實現(xiàn)SQL操作的\t47
用MapReduce實現(xiàn)SQL數(shù)據(jù)分析的原理\t48
Hive的架構\t49
Hive如何實現(xiàn)join操作\t51
人們并沒有覺得MapReduce速度慢，直到Spark出現(xiàn)\t53
同樣的本質，為何Spark可以更高效\t57
Spark的計算階段\t57
Spark的作業(yè)管理\t61
Spark的執(zhí)行過程\t62
BigTable的開源實現(xiàn)：HBase\t63
HBase可伸縮架構\t64
HBase可擴展數(shù)據(jù)模型\t65
HBase的高性能存儲\t66
流式計算的代表：Storm、Spark Streaming、Flink\t68
Storm\t68
Spark Streaming\t70
Flink\t71
ZooKeeper是如何保證數(shù)據(jù)一致性的\t74
分布式一致性原理\t75
Paxos算法與ZooKeeper架構\t76
大數(shù)據(jù)技術應用場景分析\t80
4 大數(shù)據(jù)開發(fā)實踐\t82
如何自己開發(fā)一個大數(shù)據(jù)SQL引擎\t83
Panthera架構\t83
Panthera的SQL語法轉換\t84
比如這條SQL\t85
Panthera程序設計\t85
Spark的性能優(yōu)化案例分析\t89
Apache開源社區(qū)的組織和參與方式\t90
軟件性能優(yōu)化\t91
大數(shù)據(jù)開發(fā)的性能優(yōu)化\t91
Spark性能優(yōu)化\t92
案例1：Spark任務文件初始化調優(yōu)\t95
案例2：Spark任務調度優(yōu)化\t98
案例3：Spark應用配置優(yōu)化\t102
案例4：操作系統(tǒng)配置優(yōu)化\t102
案例5：硬件優(yōu)化\t103
大數(shù)據(jù)基準測試可以帶來什么好處\t105
大數(shù)據(jù)基準測試的應用\t105
大數(shù)據(jù)基準測試工具HiBench\t107
從大數(shù)據(jù)性能測試工具Dew看如何快速開發(fā)大數(shù)據(jù)系統(tǒng)\t109
Dew設計與開發(fā)\t110
Akka的原理與應用\t112
大數(shù)據(jù)開發(fā)實踐的啟示\t115
5 大數(shù)據(jù)平臺與系統(tǒng)集成\t117
大數(shù)據(jù)平臺 = 互聯(lián)網(wǎng)產(chǎn)品 + 大數(shù)據(jù)產(chǎn)品\t117
數(shù)據(jù)采集\t119
數(shù)據(jù)處理\t119
數(shù)據(jù)輸出與展示\t119
大數(shù)據(jù)任務調度\t120
大數(shù)據(jù)平臺Lamda架構\t120
數(shù)據(jù)在大數(shù)據(jù)平臺中的流轉\t121
大數(shù)據(jù)從哪里來\t123
從數(shù)據(jù)庫導入\t123
從日志文件導入\t124
前端埋點采集\t126
爬蟲系統(tǒng)\t128
數(shù)據(jù)的熵\t128
知名大廠如何搭建大數(shù)據(jù)平臺\t129
淘寶大數(shù)據(jù)平臺\t129
美團大數(shù)據(jù)平臺\t130
滴滴大數(shù)據(jù)平臺\t131
學架構就是學架構模式\t133
盤點可供中小企業(yè)參考的商業(yè)大數(shù)據(jù)平臺\t134
大數(shù)據(jù)解決方案提供商\t134
大數(shù)據(jù)云計算服務商\t136
大數(shù)據(jù)SaaS服務商\t138
大數(shù)據(jù)開放平臺\t138
當大數(shù)據(jù)遇上物聯(lián)網(wǎng)\t139
物聯(lián)網(wǎng)應用場景分析\t139
物聯(lián)網(wǎng)平臺架構\t140
大數(shù)據(jù)技術在物聯(lián)網(wǎng)中的應用\t141
6 大數(shù)據(jù)分析與運營\t144
老板想要監(jiān)控什么運營指標\t144
互聯(lián)網(wǎng)運營的常用數(shù)據(jù)指標\t145
數(shù)據(jù)可視化圖表與數(shù)據(jù)監(jiān)控\t147
一個用戶新增下降的數(shù)據(jù)分析案例\t150
數(shù)據(jù)分析案例\t151
數(shù)據(jù)分析方法\t154
AB測試與灰度發(fā)布必知必會\t156
A/B測試的過程\t157
A/B測試的系統(tǒng)架構\t158
灰度發(fā)布\t159
如何利用大數(shù)據(jù)成為“增長黑客”\t160
Hotmail的增長黑客故事\t161
AARRR用戶增長模型\t161
利用大數(shù)據(jù)增長用戶數(shù)量\t163
為什么說數(shù)據(jù)驅動運營\t164
7 大數(shù)據(jù)算法與機器學習\t168
如何對數(shù)據(jù)進行分類和預測\t168
k近鄰分類算法\t169
數(shù)據(jù)的距離\t170
文本的特征值\t171
貝葉斯分類\t172
如何發(fā)掘數(shù)據(jù)的關系\t174
搜索排序\t174
關聯(lián)分析\t177
聚類\t179
如何預測用戶的喜好\t181
基于人口統(tǒng)計的推薦\t182
基于商品屬性的推薦\t183
基于用戶的協(xié)同過濾推薦\t184
基于商品的協(xié)同過濾推薦\t185
機器學習的數(shù)學原理是什么\t186
樣本\t187
模型\t187
算法\t188
為什么學機器學習要學數(shù)學\t189
從感知機到神經(jīng)網(wǎng)絡\t190
感知機\t191
神經(jīng)網(wǎng)絡\t192