Doris實時數(shù)倉實戰(zhàn)

第一部分　基礎(chǔ)

第1章　Doris概述　3

1.1　Doris的前世今生　3

1.1.1　Doris應(yīng)需而生　3

1.1.2　Doris架構(gòu)重組　5

1.1.3　Doris引擎升級　6

1.1.4　Doris擁抱開源　7

1.2　Doris的特點　7

1.2.1　極簡架構(gòu)　7

1.2.2　使用簡單　9

1.2.3　功能豐富　11

1.2.4　開源開放　13

1.3　Doris核心設(shè)計　13

1.3.1　存儲引擎　13

1.3.2　查詢引擎　15

1.3.3　查詢優(yōu)化器　17

1.3.4　向量化執(zhí)行引擎　19

1.4　Doris應(yīng)用場景　20

1.5　Doris的競爭對手　23

1.5.1　Doris的“前浪”

— Greenplum　24

1.5.2　Doris的“表哥”

— Kylin　24

1.5.3　Doris的“知音”

— ClickHouse　25

1.5.4　Doris的“傷痕”

— StarRocks　25

第2章　Doris的安裝與部署　27

2.1　集群規(guī)劃和環(huán)境準(zhǔn)備　27

2.1.1　環(huán)境要求　27

2.1.2　硬件要求　28

2.1.3　節(jié)點規(guī)劃　28

2.1.4　通信端口　29

2.1.5　IP地址綁定　30

2.2　Doris源碼編譯　30

2.2.1　環(huán)境準(zhǔn)備　30

2.2.2　通過Git下載Doris源碼　31

2.2.3　拉取Docker編譯環(huán)境　32

2.2.4　啟動編譯環(huán)境　32

2.2.5　進(jìn)入Docker進(jìn)行編譯　33

2.2.6?編譯Broker　33

2.3　安裝和部署　34

2.3.1?安裝前的準(zhǔn)備　35

2.3.2?安裝FE　36

2.3.3?安裝BE　39

2.3.4　安裝Broker　41

2.4　數(shù)據(jù)庫訪問和常用命令　41

2.4.1?訪問Doris數(shù)據(jù)庫　41

2.4.2　Doris常用命令　44

2.4.3　Doris用戶管理　45

第3章　Doris數(shù)據(jù)對象　47

3.1　數(shù)據(jù)類型　47

3.1.1　數(shù)值類型　48

3.1.2?日期時間類型　48

3.1.3?字符串類型　48

3.1.4?其他擴(kuò)展類型　48

3.2　OLAP表定義　51

3.2.1　列定義　51

3.2.2　鍵描述　51

3.2.3　分布描述　52

3.2.4　鍵值對　53

3.3　分區(qū)表定義　55

3.3.1　Range分區(qū)　56

3.3.2　List分區(qū)　57

3.4　外部表定義　58

3.4.1　MySQL表引擎　58

3.4.2　Broker表引擎　59

3.4.3　Hive表引擎　61

3.4.4　Iceberg表引擎　61

3.5　表的基本操作　62

3.5.1　修改表　62

3.5.2　刪除表　65

3.5.3?清空表　65

3.6　視圖　66

3.6.1?創(chuàng)建視圖　66

3.6.2　修改視圖　67

3.6.3?刪除視圖　67

3.7　函數(shù)　67

3.7.1　日期函數(shù)　67

3.7.2　正則匹配函數(shù)　68

3.7.3　BITMAP函數(shù)　68

3.7.4　JSON函數(shù)　69

3.7.5?表函數(shù)　70

3.7.6?窗口函數(shù)　71

第4章　Doris數(shù)據(jù)模型詳解　73

4.1　數(shù)據(jù)模型及原理　73

4.1.1　Duplicate模型　73

4.1.2　Aggregate模型　74

4.1.3　Unique模型　75

4.2　數(shù)據(jù)模型實戰(zhàn)　76

4.3　數(shù)據(jù)模型應(yīng)用場景　79

4.4　表數(shù)據(jù)存儲　80

4.5　分區(qū)與分桶　84

4.6　DDL語句執(zhí)行過程　85

第二部分　進(jìn)階

第5章　數(shù)據(jù)導(dǎo)入實戰(zhàn)　91

5.1　INSERT INTO　91

5.1.1　用法詳解　92

5.1.2　應(yīng)用舉例　93

5.2　Stream Load　94

5.2.1　執(zhí)行原理　94

5.2.2　用法詳解　96

5.2.3　應(yīng)用舉例　100

5.3　Broker Load　102

5.3.1　執(zhí)行原理　102

5.3.2　用法詳解　103

5.3.3　應(yīng)用舉例　105

5.4　Routine Load　108

5.4.1　執(zhí)行原理　109

5.4.2　用法詳解　110

5.4.3　應(yīng)用舉例　112

5.5　Binlog Load　115

5.5.1　基本原理　115

5.5.2　用法詳解　116

5.5.3　應(yīng)用舉例　118

5.6　DataX　122

5.6.1　DataX執(zhí)行原理　122

5.6.2　DataX DorisWriter插件　124

5.6.3　應(yīng)用舉例　126

5.7　Spark Load　129

5.7.1　執(zhí)行原理　129

5.7.2　用法詳解　130

5.7.3　應(yīng)用舉例　131

第6章　Doris數(shù)據(jù)查詢　134

6.1　簡單查詢　136

6.1.1　簡單的SQL語法　136

6.1.2　WITH特性　140

6.1.3　IN語句和EXISTS語句　143

6.2　多表關(guān)聯(lián)　145

6.2.1　JOIN操作類型　145

6.2.2　JOIN算法實現(xiàn)　152

6.2.3　分布式JOIN優(yōu)化策略　152

6.3　開窗查詢　155

6.4　BITMAP精準(zhǔn)去重　160

6.5　HLL近似去重　164

6.6　GROUPING SETS多維組合　165

第7章　Doris查詢優(yōu)化　168

7.1　執(zhí)行計劃　168

7.2　查詢優(yōu)化器　173

7.3　索引　176

7.4　物化視圖　179

7.5　ROLLUP　183

7.6　向量化查詢引擎　185

7.7　查詢優(yōu)化總結(jié)　186

第三部分　拓展

第8章　Doris流數(shù)據(jù)　193

8.1　Flink簡介　193

8.2　Flink基本概念　196

8.3　Flink SQL和Table API　200

8.4　Flink CDC技術(shù)　202

8.5　Flink Doris Connector　206

8.5.1　插件編譯與安裝　206

8.5.2　環(huán)境配置　206

8.5.3　單表增、刪、改　209

8.5.4　多表關(guān)聯(lián)　212

8.5.5　匯總數(shù)據(jù)　213

第9章　Doris外部表　215

9.1　ODBC外部表　215

9.2　Hive外部表　219

9.3　ES外部表　222

9.4　Iceberg外部表　225

第10章　Doris集群管理　227

10.1　集群管理　227

?10.1.1　數(shù)據(jù)庫管理　227

?10.1.2　用戶管理　228

?10.1.3　權(quán)限管理　228

10.2　集群資源管理　229

?10.2.1　節(jié)點資源劃分　229

?10.2.2　節(jié)點資源限制　231

10.3　集群備份和恢復(fù)　232

?10.3.1　數(shù)據(jù)導(dǎo)出　232

?10.3.2　數(shù)據(jù)備份　234

?10.3.3　數(shù)據(jù)恢復(fù)　236

?10.3.4　模式備份　237

10.4　集群高可用　238

?10.4.1　Doris一鍵啟動　238

?10.4.2　Doris自啟動　239

?10.4.3　Doris升級版本　242

10.5　集群擴(kuò)縮容　243

?10.5.1　FE擴(kuò)容　243

?10.5.2　FE縮容　244

?10.5.3　BE擴(kuò)容　244

?10.5.4　BE縮容　244

?10.5.5　Broker擴(kuò)縮容　245

10.6　刪除恢復(fù)　245

第四部分　實戰(zhàn)

第11章　數(shù)據(jù)倉庫概述　249

11.1　數(shù)據(jù)倉庫的起源　249

11.2　數(shù)據(jù)倉庫的流行　250

11.3　數(shù)據(jù)倉庫的分布式之路　251

11.4　MPP架構(gòu)的崛起　253

11.5　數(shù)據(jù)倉庫的未來　255

11.6　概念對比　256

?11.6.1　數(shù)據(jù)倉庫與數(shù)據(jù)庫　256

?11.6.2　數(shù)據(jù)倉庫與大數(shù)據(jù)

技術(shù)　257

?11.6.3　數(shù)據(jù)倉庫與數(shù)據(jù)中臺　257

?11.6.4　數(shù)據(jù)倉庫與數(shù)據(jù)湖　258

第12章　數(shù)據(jù)倉庫設(shè)計　259

12.1　數(shù)據(jù)倉庫架構(gòu)　259

?12.1.1　Inmon的企業(yè)信息

化工廠　260

?12.1.2　Kimball的維度建模

數(shù)據(jù)倉庫　261

?12.1.3　兩種建模方式對比　261

12.2　數(shù)據(jù)倉庫分層　262

?12.2.1　操作數(shù)據(jù)存儲層　263

?12.2.2　數(shù)據(jù)倉庫層　263

?12.2.3　應(yīng)用數(shù)據(jù)層　265

12.3　實時數(shù)據(jù)倉庫的兩條

線路　266

12.4　實時數(shù)據(jù)倉庫的新

選擇　269

第13章　基于Doris的OLAP查詢和實時

數(shù)據(jù)倉庫實戰(zhàn)　272

13.1　項目背景　272

13.2　項目需求　273

13.3　技術(shù)方案實現(xiàn)　273

?13.3.1　基于DataX的接口

數(shù)據(jù)抽取　274

?13.3.2　基于Hive構(gòu)建數(shù)據(jù)

倉庫　275

?13.3.3　基于Doris構(gòu)建數(shù)據(jù)

集市　277

?13.3.4　基于Flink SQL的實時

數(shù)據(jù)流　278

?13.3.5　代碼發(fā)布和作業(yè)監(jiān)控　280

13.4　業(yè)務(wù)方案實現(xiàn)　280

?13.4.1　零售流水及本期、

同期計算　280

?13.4.2　有效店、同店及

渠道分析　281

?13.4.3　庫存及齊碼率分析　283

?13.4.4　庫銷比及售罄率分析　283

13.5　項目總結(jié)　285

第14章　基于Doris的流批一體數(shù)據(jù)倉庫

實戰(zhàn)　287

14.1　項目背景　287

14.2　項目需求　288

14.3　技術(shù)方案實現(xiàn)　289

?14.3.1　批量數(shù)據(jù)同步　290

?14.3.2　實時數(shù)據(jù)入庫　292

?14.3.3　數(shù)據(jù)倉庫分層　294

?14.3.4　全增量一體化數(shù)據(jù)

加工　295

?14.3.5　流批融合的實時大屏　298

?14.3.6　調(diào)度任務(wù)　299

14.4　開發(fā)規(guī)范　300

?14.4.1　數(shù)據(jù)對象命名規(guī)范　300

?14.4.2　建表規(guī)范　301

?14.4.3　字段命名規(guī)范　302

?14.4.4　調(diào)度任務(wù)命名規(guī)范　303

14.5　項目交付成果　303

?14.5.1　PC端報表　303

?14.5.2　移動端報表　305

?14.5.3　自助分析報表　305

14.6　項目總結(jié)　308