騰訊大數(shù)據(jù)構(gòu)建之道

定　價：￥149.00

作　者：	蔣杰劉煜宏陳鵬鄭禮雄等著
出版社：	機械工業(yè)出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787111710769	出版時間：	2022-07-01	包裝：	精裝
開本：	16開	頁數(shù)：	550	字數(shù)：

內(nèi)容簡介

　　全書共13章，分兩大部分進行全面而系統(tǒng)的介紹，第一部分從騰訊大數(shù)據(jù)平臺的發(fā)展歷程和總體架構(gòu)切入，深入剖析了各項技術(shù)原理，闡述了實戰(zhàn)過程中的挑戰(zhàn)和自研核心技術(shù)的設(shè)計思想，覆蓋了大數(shù)據(jù)接入、計算、存儲、分析、調(diào)度等大量技術(shù)組件。第二部分主要介紹了騰訊在數(shù)據(jù)治理、數(shù)據(jù)應用、機器學習和平臺運營方面的建設(shè)經(jīng)驗，并對騰訊大數(shù)據(jù)產(chǎn)品及其在內(nèi)外部場景的實踐落地進行了解讀，書中列舉的大量實踐案例對廣大讀者都極具參考價值和借鑒意義。

作者簡介

　　核心團隊騰訊數(shù)據(jù)平臺部致力于為騰訊集團旗下業(yè)務提供專業(yè)、可靠的大數(shù)據(jù)平臺及機器學習平臺服務，并依托騰訊云將大數(shù)據(jù)與AI能力對外輸出。團隊專注于大數(shù)據(jù)、云原生、機器學習、圖計算、AI視覺和推薦技術(shù)等核心技術(shù)，并在世界級比賽屢獲獎項。同時，團隊全面擁抱開源并持續(xù)貢獻社區(qū)，自主研發(fā)的分布式機器學習平臺Angel和大數(shù)據(jù)集成平臺InLong分別從Linux和Apache頂級項目畢業(yè)，具有世界級的技術(shù)影響力。核心作者蔣杰，北京大學博士，騰訊公司副總裁，中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）副理事長，中國計算機學會（CCF）大數(shù)據(jù)專家委員會委員。2012年起在騰訊負責大數(shù)據(jù)平臺建設(shè)，主導研發(fā)了離線計算、實時計算、機器學習、數(shù)智融合四代騰訊大數(shù)據(jù)平臺，并推動大數(shù)據(jù)技術(shù)開源。帶領(lǐng)騰訊完成了騰訊廣告投放端整合，實現(xiàn)了騰訊全流量的一站式投放。在人工智能領(lǐng)域，打造了騰訊AI學習平臺，獲得多項頂級賽事獎項。

圖書目錄

前言
第1章　打造騰訊大數(shù)據(jù)平臺1
1.1　騰訊大數(shù)據(jù)的緣起3
1.2　騰訊大數(shù)據(jù)的構(gòu)建理念5
1.3　騰訊大數(shù)據(jù)的總體架構(gòu)7
第2章　數(shù)據(jù)實時采集平臺11
2.1　接入層挑戰(zhàn)12
2.2　接入管理層TDManager14
2.3　數(shù)據(jù)采集17
2.4　數(shù)據(jù)總線23
2.5　消息中間件30
2.6　數(shù)據(jù)分揀40
2.7　接入層展望44
第3章　分布式存儲平臺46
3.1　文件存儲HDFS47
3.2　統(tǒng)一存儲Ceph62
3.3　下一代大數(shù)據(jù)存儲Ozone77
3.4　KV存儲HBase88
第4章　分布式計算平臺99
4.1　批處理MapReduce100
4.2　批處理Spark107
4.3　批處理漂移計算SuperSQL123
4.4　流處理Flink146
4.5　SQL數(shù)據(jù)倉庫Hive165
4.6　任務調(diào)度175
第5章　數(shù)據(jù)分析引擎184
5.1　關(guān)系型OLAP：騰訊實時多維分析平臺185
5.2　關(guān)系型OLAP：ClickHouse200
5.3　多維OLAP：Kylin211
5.4　多維OLAP：Druid222
第6章　資源調(diào)度平臺234
6.1　Yarn項目背景235
6.2　調(diào)度器性能優(yōu)化241
6.3　集群的高可用性244
6.4　多資源維度彈性管理254
第7章　數(shù)據(jù)治理體系261
7.1　元數(shù)據(jù)262
7.2　數(shù)據(jù)資產(chǎn)管理271
7.3　大數(shù)據(jù)安全283
第8章　機器學習平臺298
8.1　圖智能平臺299
8.2　Angel310
8.3　聯(lián)邦學習333
第9章　數(shù)據(jù)內(nèi)容挖掘350
9.1　概覽351
9.2　廣告內(nèi)容挖掘352
9.3　用戶畫像數(shù)據(jù)體系365
9.4　用戶畫像構(gòu)建方法366
9.5　數(shù)據(jù)內(nèi)容挖掘與推薦379
9.6　數(shù)據(jù)內(nèi)容挖掘與AI創(chuàng)作380
第10章　大數(shù)據(jù)平臺運營384
10.1　大數(shù)據(jù)服務規(guī)劃385
10.2　大數(shù)據(jù)平臺治理393
10.3　自動化運維體系構(gòu)建397
10.4　平臺運營成本優(yōu)化404
10.5　大數(shù)據(jù)運營分析與應用體系408
第11章　大數(shù)據(jù)平臺產(chǎn)品設(shè)計410
11.1　TBDS大數(shù)據(jù)處理套件411
11.2　Oceanus實時流式數(shù)據(jù)處理平臺419
11.3　ideX數(shù)據(jù)分析與探索挖掘工具425
11.4　智能鈦TI機器學習平臺429
第12章　企業(yè)級容器云平臺GaiaStack438
12.1　GaiaStack產(chǎn)品背景和目標439
12.2　GaiaStack架構(gòu)和技術(shù)特點446
12.3　GaiaStack核心技術(shù)454
第13章　大數(shù)據(jù)應用服務503
13.1　智能客服機器人504
13.2　移動推送526
13.3　數(shù)據(jù)可視化產(chǎn)品小馬BI535
參考文獻549