流計(jì)算系統(tǒng)圖解

第I部分　初識(shí)流系統(tǒng) 1
第1章　歡迎閱讀《流計(jì)算系統(tǒng)圖解》 3
1.1　什么是流處理 4
1.2　流系統(tǒng)的例子 5
1.3　流系統(tǒng)和實(shí)時(shí)性 6
1.4　流系統(tǒng)的工作方式 7
1.5　應(yīng)用程序 8
1.6　后臺(tái)服務(wù) 9
1.7　后臺(tái)服務(wù)的內(nèi)部實(shí)現(xiàn) 10
1.8　批處理系統(tǒng) 11
1.9　批處理系統(tǒng)內(nèi)部 12
1.10　流處理系統(tǒng) 13
1.11　流處理系統(tǒng)的內(nèi)部實(shí)現(xiàn) 14
1.12　多階段架構(gòu)的優(yōu)勢(shì) 15
1.13　批處理和流處理系統(tǒng)中的多階段架構(gòu) 16
1.13.1　批處理系統(tǒng) 16
1.13.2　流處理系統(tǒng) 16
1.14　比較這些系統(tǒng) 17
1.15　一個(gè)典型的流處理系統(tǒng) 18
1.16　小結(jié) 19
1.17　練習(xí) 19
第2章　你好，流系統(tǒng) 21
2.1　老板需要一個(gè)高級(jí)收費(fèi)站 22
2.2　失敗案例：使用HTTP請(qǐng)求實(shí)現(xiàn)服務(wù) 23
2.3　AJ 和 Miranda 對(duì)失敗的反思 24
2.4　AJ 對(duì)流系統(tǒng)的思考 25
2.5　比較后端服務(wù)和流 26
2.5.1　后端服務(wù)：一個(gè)同步模型 26
2.5.2　流：異步模型 26
2.6　流系統(tǒng)如何適用于當(dāng)前場(chǎng)景 27
2.7　基本概念：隊(duì)列 28
2.8　通過(guò)隊(duì)列傳輸數(shù)據(jù) 29
2.9　初探流框架Streamwork 30
2.10　Streamwork 框架概述 31
2.11　深入 Streamwork 的引擎 32
2.12　流的核心概念 33
2.13　相關(guān)概念的更多細(xì)節(jié) 34
2.14　流作業(yè)的執(zhí)行流程 35
2.15　你的第一個(gè)流作業(yè) 36
2.15.1　你的第一個(gè)流作業(yè)：創(chuàng)建事件類(lèi) 36
2.15.2　你的第一個(gè)流作業(yè)：數(shù)據(jù)源 37
2.15.3　你的第一個(gè)流作業(yè)：數(shù)據(jù)源(續(xù)) 38
2.15.4　你的第一個(gè)流作業(yè)：算子 39
2.15.5　你的第一個(gè)流作業(yè)：算子(續(xù)) 40
2.15.6　你的第一個(gè)流作業(yè)：構(gòu)建作業(yè) 41
2.16　執(zhí)行作業(yè) 42
2.17　檢查作業(yè)執(zhí)行情況 43
2.18　深入了解處理引擎 44
2.18.1　深入了解引擎：源執(zhí)行器 45
2.18.2　深入了解引擎：算子執(zhí)行器 46
2.18.3　深入了解引擎：作業(yè)啟動(dòng)器 47
2.19　事件的流轉(zhuǎn) 48
2.20　數(shù)據(jù)元素的生命周期 49
2.21　回顧流概念 50
2.22　小結(jié) 51
2.23　練習(xí) 51
第3章　并行化和數(shù)據(jù)分組 53
3.1　傳感器正在生成更多的事件 54
3.2　即使在流中，實(shí)時(shí)處理也很難 55
3.3　新概念：并行很重要 56
3.4　新概念：數(shù)據(jù)并行 57
3.5　新概念：數(shù)據(jù)執(zhí)行的獨(dú)立性 58
3.6　新概念：任務(wù)并行 59
3.7　數(shù)據(jù)并行與任務(wù)并行 60
3.8　并行與并發(fā) 61
3.9　作業(yè)的并行化 62
3.10　組件的并行化 63
3.11　數(shù)據(jù)源的并行化 64
3.12　查看作業(yè)輸出 65
3.13　算子并行化 66
3.14　再次查看作業(yè)輸出 67
3.15　事件和實(shí)例 68
3.16　事件順序 69
3.17　事件分組 70
3.18　隨機(jī)分組 71
3.19　隨機(jī)分組原理 72
3.20　字段分組 73
3.21　字段分組原理 74
3.22　事件的分組執(zhí)行 75
3.23　深入了解引擎：事件分發(fā)器 76
3.24　在作業(yè)中采用字段分組 77
3.25　查看事件順序 78
3.26　比較分組行為 79
3.27　小結(jié) 80
3.28　練習(xí) 80
第4章　流中的圖 81
4.1　信用卡欺詐檢測(cè)系統(tǒng) 82
4.2　信用卡欺詐檢測(cè)系統(tǒng)的更多細(xì)節(jié) 83
4.3　欺詐檢測(cè)業(yè)務(wù)流程 84
4.4　流并不總是一條直線 85
4.5　系統(tǒng)內(nèi)部分析 86
4.6　欺詐檢測(cè)作業(yè)的細(xì)節(jié) 87
4.7　新概念 88
4.8　上下游組件 89
4.9　流的扇出和扇入 90
4.10　圖、有向圖以及有向無(wú)環(huán)圖 91
4.11　流處理系統(tǒng)中的 DAG 92
4.12　新概念概覽 93
4.13　從流扇出到分析器 94
4.14　深入了解引擎 95
4.15　有一個(gè)問(wèn)題: 效率 96
4.16　不同流的扇出 97
4.17　再次深入了解引擎 98
4.18　使用通道實(shí)現(xiàn)組件間通信 99
4.19　多個(gè)通道 100
4.20　流扇入至評(píng)分聚合器 101
4.21　引擎中的流扇入 102
4.22　對(duì)另一個(gè)流扇入的簡(jiǎn)單介紹：Join 103
4.23　回顧整個(gè)系統(tǒng) 104
4.24　圖和流作業(yè) 105
4.25　示例系統(tǒng) 106
4.26　小結(jié) 107
4.27　練習(xí) 108
第5章　送達(dá)語(yǔ)義 109
5.1　欺詐檢測(cè)系統(tǒng)的延遲需求 110
5.2　重新審視欺詐檢測(cè)作業(yè) 111
5.3　關(guān)于準(zhǔn)確性 112
5.4　部分結(jié)果 113
5.5　一個(gè)監(jiān)控系統(tǒng)使用率的流作業(yè) 114
5.6　新系統(tǒng)使用率作業(yè) 115
5.7　新系統(tǒng)使用率作業(yè)的需求 116
5.8　新概念：送達(dá)次數(shù)和處理次數(shù) 117
5.9　新概念：送達(dá)語(yǔ)義 118
5.10　選擇正確的語(yǔ)義 119
5.11　至多一次送達(dá) 120
5.12　欺詐檢測(cè)作業(yè) 121
5.12.1　好的一面 121
5.12.2　壞的一面 121
5.12.3　希望 121
5.13　至少一次送達(dá) 122
5.14　用確認(rèn)機(jī)制實(shí)現(xiàn)至少一次送達(dá) 123
5.15　跟蹤事件 124
5.16　應(yīng)對(duì)事件處理時(shí)的失敗 125
5.17　追蹤提早結(jié)束處理的事件 126
5.18　組件中關(guān)于確認(rèn)的代碼 127
5.19　新概念：檢查點(diǎn) 128
5.20　新概念：狀態(tài) 129
5.21　在系統(tǒng)使用率作業(yè)中為至少一次送達(dá)語(yǔ)義生成檢查點(diǎn) 130
5.22　生成檢查點(diǎn)和狀態(tài)操作函數(shù) 131
5.23　交易源組件中的狀態(tài)處理代碼 132
5.24　恰好一次還是實(shí)際一次 133
5.25　額外概念：冪等操作 134
5.26　恰好一次送達(dá) 135
5.27　系統(tǒng)使用率分析器組件中的狀態(tài)處理代碼 136
5.28　再次比較送達(dá)語(yǔ)義 137
5.29　小結(jié) 138
5.30　練習(xí) 138
5.31　接下來(lái) 139
第6章　流系統(tǒng)回顧與展望 141
6.1　流系統(tǒng)的基本概念 142
6.2　并行化和事件分組 143
6.3　有向無(wú)環(huán)圖和流作業(yè) 144
6.4　送達(dá)語(yǔ)義(送達(dá)保證) 145
6.5　在信用卡欺詐檢測(cè)系統(tǒng)中使用的送達(dá)語(yǔ)義 146
6.6　接下來(lái)是什么 147
6.7　窗口計(jì)算簡(jiǎn)介 148
6.8　實(shí)時(shí)Join數(shù)據(jù) 149
6.9　反壓簡(jiǎn)介 150
6.10　無(wú)狀態(tài)計(jì)算和有狀態(tài)計(jì)算 151
第II部分　進(jìn)階 153
第7章　窗口計(jì)算 155
7.1　對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行切分 156
7.2　詳細(xì)分解問(wèn)題 157
7.3　繼續(xù)分解問(wèn)題 158
7.4　兩種上下文 159
7.5　欺詐檢測(cè)中的窗口處理 160
7.6　窗口究竟是什么 161
7.7　進(jìn)一步了解窗口 162
7.8　新概念：窗口策略 163
7.9　固定窗口 164
7.10　距離分析器中的固定窗口 165
7.11　用固定時(shí)間窗口檢測(cè)欺詐行為 166
7.12　固定窗口：時(shí)間與數(shù)量 167
7.13　滑動(dòng)窗口 168
7.14　滑動(dòng)窗口與距離分析器 169
7.15　用滑動(dòng)窗口檢測(cè)欺詐行為 170
7.16　會(huì)話窗口 171
7.17　會(huì)話窗口(續(xù)) 172
7.18　使用會(huì)話窗口檢測(cè)欺詐行為 173
7.19　窗口化策略的總結(jié) 174
7.20　將事件流切成數(shù)據(jù)集 175
7.21　窗口：概念與實(shí)現(xiàn) 176
7.22　回顧 177
7.23　鍵值存儲(chǔ)入門(mén) 178
7.24　實(shí)現(xiàn)窗口化距離分析器 179
7.25　事件時(shí)間和事件的其他時(shí)間 180
7.26　窗口水位 181
7.27　遲到事件 182
7.28　小結(jié) 183
7.29　練習(xí) 184
第8章　Join 操作 185
8.1　即時(shí) Join 排放量數(shù)據(jù) 186
8.2　排放量作業(yè)初版 187
8.3　排放量解析器 188
8.4　準(zhǔn)確性是個(gè)問(wèn)題 189
8.5　排放量作業(yè)增強(qiáng)版 190
8.6　聚焦 Join 191
8.7　到底什么是 Join 192
8.8　流 Join是如何工作的 193
8.9　流式 Join 是一種不同的扇入方式 194
8.10　車(chē)輛事件與溫度事件 195
8.11　表：流的物化視圖 196
8.12　物化車(chē)輛事件更低效 197
8.13　數(shù)據(jù)完整性問(wèn)題 198
8.14　這個(gè) Join 算子的問(wèn)題出在哪 199
8.15　Inner Join 200
8.16　Outer Join 201
8.17　Inner Join 與 Outer Join 202
8.18　不同類(lèi)型的 Join 203
8.19　流系統(tǒng)中的 Outer Join 204
8.20　新問(wèn)題：網(wǎng)絡(luò)連接 205
8.21　窗口 Join 206
8.22　兩表 Join 而不是流表 Join 207
8.23　重新審視物化視圖 208
8.24　小結(jié) 209
第9章　反壓 211
9.1　可靠性很關(guān)鍵 212
9.2　回顧系統(tǒng) 213
9.3　精簡(jiǎn)的流作業(yè) 214
9.4　新概念：容量、利用率和空余率 215
9.5　進(jìn)一步了解利用率與空余率 216
9.6　新概念：反壓 217
9.7　測(cè)量容量利用率 218
9.8　 Streamwork引擎中的反壓 219
10.18　有狀態(tài)組件與無(wú)狀態(tài)組件 253
10.19　手動(dòng)管理實(shí)例狀態(tài) 254
10.20　Lambda架構(gòu) 255
10.21　小結(jié) 256
10.22　練習(xí) 257
第11章　總結(jié)：流系統(tǒng)中的高級(jí)概念 259
11.1　真的結(jié)束了嗎 260
11.2　窗口計(jì)算回顧 261
11.3　主要窗口類(lèi)型回顧 262
11.3.1　固定窗口 262
11.3.2　滑動(dòng)窗口 262
11.3.3　會(huì)話窗口 262
11.4　實(shí)時(shí) Join 數(shù)據(jù)回顧 263
11.5　SQL與流式 Join回顧 264
11.6　Inner Join 和 Outer Join回顧 265
11.7　流系統(tǒng)中的意外情況 266
11.8　反壓：減慢數(shù)據(jù)源或上游組件的速度 267
11.8.1　停止數(shù)據(jù)源 267
11.8.2　停止上游組件 267
11.9　另一種處理滯后實(shí)例的方法：丟棄事件 268
11.10　反壓可能只是內(nèi)部問(wèn)題的表象 269
11.10.1　實(shí)例停止工作，所以反壓不會(huì)得到緩解 269
11.10.2　實(shí)例無(wú)法趕上進(jìn)度，反壓將反復(fù)觸發(fā)：抖動(dòng) 269
11.11　帶有檢查點(diǎn)的有狀態(tài)組件 270
11.12　基于事件的計(jì)時(shí) 271
11.13　有狀態(tài)組件與無(wú)狀態(tài)組件回顧 272
11.14　你做到了 273
11.14.1　挑選一個(gè)開(kāi)源項(xiàng)目來(lái)學(xué)習(xí) 273
11.14.2　開(kāi)始寫(xiě)博客，傳授你所學(xué)的知識(shí) 273
11.14.3　參加聚會(huì)和會(huì)議 273
11.14.4　參與開(kāi)源項(xiàng)目 273
11.14.5　永不放棄 273