云數(shù)據(jù)湖：構(gòu)建健壯的云數(shù)據(jù)架構(gòu)

目錄
前言1
第1章 大數(shù)據(jù)—超越喧囂9
1.1 什么是大數(shù)據(jù)10
1.2 彈性數(shù)據(jù)基礎(chǔ)設(shè)施的挑戰(zhàn)14
1.3 云計(jì)算基礎(chǔ)15
1.3.1 云計(jì)算術(shù)語(yǔ)16
1.3.2 云的價(jià)值主張17
1.4 云數(shù)據(jù)湖架構(gòu)19
1.4.1 本地?cái)?shù)據(jù)倉(cāng)庫(kù)解決方案的限制20
1.4.2 什么是云數(shù)據(jù)湖架構(gòu)21
1.4.3 云數(shù)據(jù)湖架構(gòu)的優(yōu)勢(shì)21
1.5 開(kāi)啟云數(shù)據(jù)湖之旅23
1.6 總結(jié)26
第2章 云上的大數(shù)據(jù)架構(gòu)27
2.1 為什么Klodars公司要遷移到云27
2.2 云數(shù)據(jù)湖架構(gòu)基礎(chǔ)28
2.2.1 淺談數(shù)據(jù)的多樣性29
2.2.2 云數(shù)據(jù)湖存儲(chǔ)31
2.2.3 大數(shù)據(jù)分析引擎33
2.2.4 云數(shù)據(jù)倉(cāng)庫(kù)39
2.3 現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)41
2.3.1 參考架構(gòu)41
2.3.2 現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的用例43
2.3.3 現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的優(yōu)勢(shì)和挑戰(zhàn)45
2.4 數(shù)據(jù)湖倉(cāng)一體架構(gòu)45
2.4.1 參考架構(gòu)46
2.4.2 數(shù)據(jù)湖倉(cāng)一體架構(gòu)的用例52
2.4.3 數(shù)據(jù)湖倉(cāng)一體架構(gòu)的優(yōu)勢(shì)和挑戰(zhàn)54
2.4.4 數(shù)據(jù)倉(cāng)庫(kù)和非結(jié)構(gòu)化數(shù)據(jù)56
2.5 數(shù)據(jù)網(wǎng)格56
2.5.1 參考架構(gòu)57
2.5.2 數(shù)據(jù)網(wǎng)格架構(gòu)的用例59
2.5.3 數(shù)據(jù)網(wǎng)格架構(gòu)的優(yōu)勢(shì)和挑戰(zhàn)59
2.6 什么是適合的架構(gòu)60
2.6.1 了解客戶(hù)60
2.6.2 了解業(yè)務(wù)驅(qū)動(dòng)因素61
2.6.3 考慮增長(zhǎng)和未來(lái)場(chǎng)景62
2.6.4 設(shè)計(jì)注意事項(xiàng)62
2.6.5 混合方法64
2.7 總結(jié)64
第3章 數(shù)據(jù)湖的設(shè)計(jì)注意事項(xiàng)66
3.1 設(shè)置云數(shù)據(jù)湖基礎(chǔ)設(shè)施66
3.1.1 確定目標(biāo)67
3.1.2 規(guī)劃架構(gòu)和可交付成果70
3.1.3 云數(shù)據(jù)湖實(shí)施74
3.1.4 發(fā)布和運(yùn)行75
3.2 在數(shù)據(jù)湖中組織數(shù)據(jù)75
3.2.1 數(shù)據(jù)生命中的一天75
3.2.2 數(shù)據(jù)湖區(qū)76
3.2.3 組織機(jī)制79
3.3 數(shù)據(jù)治理簡(jiǎn)介80
3.3.1 數(shù)據(jù)治理的參與者81
3.3.2 數(shù)據(jù)分類(lèi)83
3.3.3 元數(shù)據(jù)管理、數(shù)據(jù)目錄和數(shù)據(jù)共享84
3.3.4 數(shù)據(jù)訪(fǎng)問(wèn)管理85
3.3.5 數(shù)據(jù)質(zhì)量和可觀測(cè)性86
3.3.6 Klodars公司的數(shù)據(jù)治理89
3.3.7 數(shù)據(jù)治理總結(jié)90
3.4 管理數(shù)據(jù)湖成本91
3.4.1 揭秘云上的數(shù)據(jù)湖成本92
3.4.2 數(shù)據(jù)湖成本策略94
3.5 總結(jié)96
第4章 可擴(kuò)展的數(shù)據(jù)湖97
4.1 可擴(kuò)展性探秘97
4.1.1 什么是可擴(kuò)展性98
4.1.2 日常生活中的規(guī)模98
4.1.3 數(shù)據(jù)湖架構(gòu)中的可擴(kuò)展性101
4.2 數(shù)據(jù)湖處理系統(tǒng)的內(nèi)部104
4.2.1 內(nèi)部數(shù)據(jù)復(fù)制105
4.2.2 內(nèi)部ELT/ETL處理107
4.2.3 關(guān)于其他交互式查詢(xún)的說(shuō)明110
4.3 可擴(kuò)展數(shù)據(jù)湖解決方案的注意事項(xiàng)110
4.3.1 選擇合適的云產(chǎn)品111
4.3.2 峰值容量規(guī)劃114
4.3.3 數(shù)據(jù)格式和作業(yè)配置文件116
4.4 總結(jié)117
第5章 優(yōu)化云數(shù)據(jù)湖架構(gòu)以提高性能118
5.1 度量性能的基礎(chǔ)知識(shí)118
5.1.1 性能的目標(biāo)和指標(biāo)120
5.1.2 度量性能121
5.1.3 優(yōu)化以提高性能122
5.2 云數(shù)據(jù)湖性能124
5.2.1 SLA、SLO和SLI124
5.2.2 示例：Klodars公司如何管理其SLA、SLO和SLI125
5.3 性能驅(qū)動(dòng)因素126
5.3.1 復(fù)制作業(yè)的性能驅(qū)動(dòng)因素127
5.3.2 Spark作業(yè)的性能驅(qū)動(dòng)因素129
5.4 性能調(diào)優(yōu)的優(yōu)化原則和技術(shù)132
5.4.1 數(shù)據(jù)格式132
5.4.2 數(shù)據(jù)組織和分區(qū)138
5.4.3 在Apache Spark上選擇正確的配置140
5.5 減少數(shù)據(jù)傳輸開(kāi)銷(xiāo)142
5.6 優(yōu)質(zhì)產(chǎn)品和性能143
5.6.1 大型虛擬機(jī)案例144
5.6.2 閃存案例144
5.7 總結(jié)145
第6章 深入了解數(shù)據(jù)格式146
6.1 為什么我們需要這些開(kāi)放數(shù)據(jù)格式146
6.1.1 為什么我們需要存儲(chǔ)表格數(shù)據(jù)147
6.1.2 為什么在云數(shù)據(jù)湖中存儲(chǔ)表格數(shù)據(jù)是一個(gè)問(wèn)題148
6.2 Delta Lake149
6.2.1 為什么開(kāi)發(fā)Delta Lake149
6.2.2 Delta Lake如何工作152
6.2.3 什么時(shí)候使用Delta Lake153
6.3 Apache Iceberg154
6.3.1 為什么開(kāi)發(fā)Apache Iceberg154
6.3.2 Apache Iceberg是如何工作的155
6.3.3 什么時(shí)候使用Apache Iceberg157
6.4 Apache Hudi159
6.4.1 為什么孵化Apache Hudi159
6.4.2 Apache Hudi如何工作160
6.4.3 什么時(shí)候使用Apache Hudi163
6.5 總結(jié)164
第7章 架構(gòu)的決策框架165
7.1 云數(shù)據(jù)湖評(píng)估166
7.2 云數(shù)據(jù)湖評(píng)估分析168
7.2.1 從零開(kāi)始169
7.2.2 將現(xiàn)有數(shù)據(jù)湖或數(shù)據(jù)倉(cāng)庫(kù)遷移到云169
7.2.3 改進(jìn)現(xiàn)有的云數(shù)據(jù)湖170
7.3 決策框架的第1階段：評(píng)估171
7.3.1 了解客戶(hù)需求171
7.3.2 了解改進(jìn)的機(jī)會(huì)172
7.3.3 了解業(yè)務(wù)驅(qū)動(dòng)因素174
7.3.4 確定需求的優(yōu)先級(jí)來(lái)完成評(píng)估階段175
7.4 決策框架的第2階段：定義176
7.4.1 確定云數(shù)據(jù)湖的設(shè)計(jì)選擇178
7.4.2 規(guī)劃云數(shù)據(jù)湖項(xiàng)目可交付成果181
7.5 決策框架的第3階段：實(shí)施183
7.6 決策框架的第4階段：操作185
7.7 總結(jié)186
第8章 數(shù)據(jù)啟迪未來(lái)的六大經(jīng)驗(yàn)187
8.1 第1課：關(guān)注云數(shù)據(jù)湖的工作方式和時(shí)間，而不是“如果”和
　　“為什么”188
8.2 第2課：權(quán)力越大，責(zé)任越大—數(shù)據(jù)也不例外188
8.3 第3課：客戶(hù)引領(lǐng)技術(shù)，而不是技術(shù)引領(lǐng)客戶(hù)190
8.4 第4課：改變是不可避免的，所以要做好準(zhǔn)備192
8.5 第5課：建立同理心，分清輕重緩急192
8.6 第6課：巨大的影響不會(huì)在一夜之間發(fā)生193
8.7 總結(jié)194
附錄 云數(shù)據(jù)湖決策框架模板195