劍指大數(shù)據(jù)：Flink實時數(shù)據(jù)倉庫項目實戰(zhàn)（電商版）

目 錄


第1章 實時數(shù)據(jù)倉庫概論 1
1.1 什么是數(shù)據(jù)倉庫 1
1.2 走進(jìn)實時數(shù)據(jù)倉庫 2
1.2.1 實時計算和離線計算 2
1.2.2 實時數(shù)據(jù)倉庫的構(gòu)建目的 3
1.2.3 實時技術(shù)發(fā)展 4
1.2.4 實時數(shù)據(jù)倉庫現(xiàn)狀分析 5
1.3 學(xué)前導(dǎo)讀 7
1.3.1 學(xué)習(xí)的基本要求 7
1.3.2 你將學(xué)到什么 7
1.4 本章總結(jié) 8
第2章 需求分析與架構(gòu)設(shè)計 9
2.1 項目需求分析 9
2.1.1 實時數(shù)據(jù)倉庫項目產(chǎn)品描述 9
2.1.2 項目流程圖 10
2.1.3 指標(biāo)體系分析 11
2.2 項目架構(gòu)概述 12
2.2.1 架構(gòu)設(shè)計 12
2.2.2 分層設(shè)計 13
2.3 技術(shù)選型 14
2.4 本章總結(jié) 17
第3章 項目部署與框架搭建 18
3.1 集群規(guī)劃與服務(wù)器配置 18
3.2 JDK與Hadoop安裝 18
3.2.1 虛擬機(jī)環(huán)境準(zhǔn)備 19
3.2.2 JDK安裝 22
3.2.3 Hadoop安裝 23
3.2.4 Hadoop分布式集群部署 24
3.3 ZooKeeper與Kafka安裝 30
3.3.1 安裝ZooKeeper 30
3.3.2 Zookeeper集群啟動、停止腳本 32
3.3.3 安裝Kafka 33
3.3.4 Kafka集群啟動、停止腳本 34
3.3.5 Kafka Topic相關(guān)操作 35
3.4 Flink的安裝與部署 36
3.4.1 YARN模式安裝 36
3.4.2 任務(wù)部署 37
3.5 本章總結(jié) 38
第4章 數(shù)據(jù)倉庫建模理論 39
4.1 數(shù)據(jù)倉庫理論準(zhǔn)備 39
4.1.1 數(shù)據(jù)建模概述 39
4.1.2 關(guān)系模型與范式理論 40
4.1.3 維度模型 43
4.1.4 維度建模理論之事實表 44
4.1.5 維度建模理論之維度表 46
4.2 數(shù)據(jù)倉庫建模實踐 48
4.2.1 名詞概念 48
4.2.2 為什么要分層 49
4.2.3 數(shù)據(jù)倉庫構(gòu)建流程 50
4.3 本章總結(jié) 54
第5章 構(gòu)建ODS層之用戶行為數(shù)據(jù)采集 55
5.1 日志生成 55
5.1.1 數(shù)據(jù)埋點 55
5.1.2 目標(biāo)數(shù)據(jù) 56
5.1.3 數(shù)據(jù)模擬 60
5.2 采集日志的Flume 63
5.2.1 Flume組件 63
5.2.2 Flume安裝 64
5.2.3 采集日志Flume配置 64
5.2.4 Flume的攔截器 65
5.2.5 采集日志Flume啟動、停止腳本 69
5.3 本章總結(jié) 70
第6章 構(gòu)建ODS層之業(yè)務(wù)數(shù)據(jù)采集 71
6.1 電商業(yè)務(wù)概述 71
6.1.1 電商業(yè)務(wù)流程 71
6.1.2 電商常識 72
6.1.3 電商表結(jié)構(gòu) 73
6.2 數(shù)據(jù)同步概述 82
6.2.1 數(shù)據(jù)同步策略 82
6.2.2 數(shù)據(jù)同步工具選擇 83
6.3 業(yè)務(wù)數(shù)據(jù)模擬 83
6.3.1 MySQL安裝 83
6.3.2 數(shù)據(jù)模擬流程 85
6.4 Maxwell數(shù)據(jù)采集 87
6.4.1 MySQL中的binlog 87
6.4.2 Maxwell工作原理 89
6.4.3 業(yè)務(wù)數(shù)據(jù)采集 93
6.4.4 首日全量同步 95
6.5 本章總結(jié) 97
第7章 構(gòu)建DIM層 98
7.1 開發(fā)環(huán)境準(zhǔn)備 98
7.1.1 IDEA開發(fā)環(huán)境準(zhǔn)備 98
7.1.2 HBase與Phoenix 102
7.2 關(guān)鍵技術(shù)解讀 106
7.2.1 Flink CDC 106
7.2.2 配置表設(shè)計 110
7.3 DIM層代碼編寫 112
7.3.1 接收Kafka數(shù)據(jù)過濾臟數(shù)據(jù) 112
7.3.2 動態(tài)拆分維度表數(shù)據(jù) 114
7.3.3 將流中的數(shù)據(jù)保存至Phoenix 124
7.3.4 測試 125
7.4 本章總結(jié) 126
第8章 構(gòu)建DWD層 127
8.1 概述 127
8.2 流量域五大事務(wù)事實表 128
8.2.1 思路梳理 128
8.2.2 代碼編寫 132
8.3 交易域加購事務(wù)事實表 139
8.3.1 思路梳理 140
8.3.2 編寫代碼 143
8.4 交易域下單事務(wù)事實表 147
8.4.1 思路梳理 147
8.4.2 代碼編寫 151
8.5 交易域取消訂單事務(wù)事實表 155
8.5.1 思路梳理 155
8.5.2 代碼編寫 157
8.6 交易域支付成功事務(wù)事實表 160
8.6.1 思路梳理 160
8.6.2 代碼編寫 162
8.7 交易域退單事務(wù)事實表 165
8.7.1 思路梳理 166
8.7.2 代碼編寫 167
8.8 交易域退款成功事務(wù)事實表 170
8.8.1 思路梳理 170
8.8.2 代碼編寫 171
8.9 事實表動態(tài)分流 175
8.9.1 思路梳理 175
8.9.2 代碼編寫 177
8.10 本章總結(jié) 186
第9章 構(gòu)建DWS層 187
9.1 概述 187
9.2 環(huán)境準(zhǔn)備 190
9.2.1 安裝Redis 190
9.2.2 安裝ClickHouse 191
9.3 流量域關(guān)鍵詞粒度頁面瀏覽各窗口匯總表 193
9.3.1 思路梳理 193
9.3.2 代碼編寫 196
9.4 流量域版本—渠道—地區(qū)—訪客類別粒度頁面瀏覽各窗口匯總表 202
9.4.1 思路梳理 202
9.4.2 代碼編寫 203
9.5 流量域頁面瀏覽各窗口匯總表 209
9.5.1 思路梳理 209
9.5.2 代碼編寫 210
9.6 用戶域用戶登錄各窗口匯總表 215
9.6.1 思路梳理 215
9.6.2 代碼編寫 217
9.7 用戶域用戶注冊各窗口匯總表 222
9.7.1 思路梳理 222
9.7.2 代碼編寫 222
9.8 交易域加購各窗口匯總表 226
9.8.1 思路梳理 226
9.8.2 代碼編寫 227
9.9 交易域支付各窗口匯總表 231
9.9.1 思路梳理 231
9.9.2 代碼編寫 232
9.10 交易域下單各窗口匯總表 237
9.10.1 思路梳理 237
9.10.2 代碼編寫 238
9.11 交易域SKU粒度下單各窗口匯總表 243
9.11.1 思路梳理 243
9.11.2 代碼編寫 248
9.12 交易域省份粒度下單各窗口匯總表 266
9.12.1 思路梳理 266
9.12.2 代碼編寫 267
9.13 交易域品牌—分類—用戶粒度退單各窗口匯總表 274
9.13.1 思路梳理 274
9.13.2 代碼編寫 275
9.14 本章總結(jié) 282
第10章 數(shù)據(jù)可視化大屏 283
10.1 需求分析 283
10.2 Sugar BI介紹 283
10.2.1 簡介 283
10.2.2 使用入門 284
10.2.3 效果展示 286
10.3 本章總結(jié) 286
第11章 性能調(diào)優(yōu)理論與實踐 287
11.1 項目環(huán)境概述 287
11.1.1 集群環(huán)境 287
11.1.2 任務(wù)提交測試 288
11.2 YARN調(diào)優(yōu)策略 297
11.2.1 YARN內(nèi)存調(diào)優(yōu) 297
11.2.2 YARN CPU調(diào)優(yōu) 297
11.3 Flink內(nèi)存模型 298
11.3.1 TaskManager內(nèi)存模型 298
11.3.2 JobManager內(nèi)存模型 301
11.4 并行度與slot 302
11.4.1 Flink的并行度配置 302
11.4.2 TaskManager slot個數(shù)配置 304
11.5 狀態(tài)調(diào)優(yōu) 304
11.5.1 Flink的狀態(tài)編程概述 305
11.5.2 檢查點相關(guān)配置 306
11.5.3 開啟狀態(tài)訪問性能監(jiān)控 308
11.5.4 RocksDB狀態(tài)后端的性能優(yōu)化手段 310
11.5.5 開啟分區(qū)索引和過濾器功能 311
11.5.6 調(diào)整預(yù)定義選項 312
11.5.7 手動調(diào)整參數(shù) 312
11.6 反壓 313
11.6.1 反壓概述 313
11.6.2 如何定位反壓 314
11.6.3 反壓的原因及解決辦法 317
11.7 數(shù)據(jù)傾斜 320
11.7.1 判斷數(shù)據(jù)傾斜 320
11.7.2 解決數(shù)據(jù)傾斜 321
11.8 Job優(yōu)化 325
11.8.1 為算子指定UUID 325
11.8.2 鏈路延遲監(jiān)控 326
11.8.3 開啟對象重用 327
11.8.4 細(xì)粒度滑動窗口優(yōu)化 328
11.8.5 提前計算滾動窗口 329
11.9 Flink SQL優(yōu)化 329
11.9.1 設(shè)置空閑狀態(tài)保留時間 329
11.9.2 開啟MiniBatch功能 329
11.9.3 開啟LocalGlobal優(yōu)化 330
11.9.4 開啟Split Distinct優(yōu)化 331
11.9.5 使用FILTER語法 332
11.10 Flink對接Kafka優(yōu)化 333
11.10.1 Flink并行度與Kafka主題分區(qū)數(shù) 333
11.10.2 指定Watermark空閑等待 334
11.10.3 動態(tài)發(fā)現(xiàn)Kafka分區(qū) 334
11.11 DIM層調(diào)優(yōu)實操 335
11.11.1 YARN資源配置分析 335
11.11.2 Flink內(nèi)存分配分析 336
11.11.3 并行度與slot個數(shù)配置分析 337
11.11.4 狀態(tài)相關(guān)配置分析 337
11.11.5 DIM層任務(wù)初次提交測試 338
11.11.6 反壓情況分析 344
11.11.7 數(shù)據(jù)傾斜情況分析 348
11.11.8 與Kakfa對接的相關(guān)優(yōu)化措施 351
11.11.9 任務(wù)重啟 352
11.11.10 最終提交命令 355
11.12 DWD層調(diào)優(yōu)實操 356
11.12.1 DWD層任務(wù)初次提交測試 356
11.12.2 反壓情況分析 359
11.12.3 數(shù)據(jù)傾斜情況分析 364
11.12.4 最終提交命令 367
11.13 本章總結(jié) 369