Storm企業(yè)級(jí)應(yīng)用：實(shí)戰(zhàn)、運(yùn)維和調(diào)優(yōu)

目 錄 Contents
前 言
基 礎(chǔ) 篇
第1章 認(rèn)識(shí)Storm 2
1.1 什么是實(shí)時(shí)流計(jì)算 2
1.1.1 實(shí)時(shí)流計(jì)算背景 3
1.1.2 實(shí)時(shí)計(jì)算應(yīng)用場(chǎng)景 3
1.1.3 實(shí)時(shí)計(jì)算處理流程 4
1.1.4 實(shí)時(shí)計(jì)算框架 5
1.2 Storm是什么 11
1.2.1 Storm出現(xiàn)的背景 12
1.2.2 Storm簡(jiǎn)介 12
1.2.3 Storm的設(shè)計(jì)思想 13
1.2.4 Storm與Hadoop的角色和組件比較 14
1.3 Storm核心組件 15
1.3.1 主節(jié)點(diǎn)Nimbus 15
1.3.2 工作節(jié)點(diǎn)Supervisor 15
1.3.3 協(xié)調(diào)服務(wù)組件ZooKeeper 16
1.3.4 其他核心組件 16
1.4 Storm的特性 16
1.5 Storm的功能 18
1.6 本章小結(jié) 19
第2章 開(kāi)始使用Storm 20
2.1 環(huán)境準(zhǔn)備 20
2.1.1 系統(tǒng)配置 20
2.1.2 安裝ZooKeeper集群 22
2.2 啟動(dòng)模式 26
2.2.1 本地模式 26
2.2.2 分布式模式 26
2.3 安裝部署Storm集群 26
2.3.1 安裝Storm依賴(lài)庫(kù) 27
2.3.2 安裝Storm集群 28
2.3.3 啟動(dòng)Storm集群 31
2.3.4 停止Storm集群 33
2.4 創(chuàng)建Topology并向集群提交任務(wù) 33
2.4.1 創(chuàng)建Topology 34
2.4.2 向集群提交任務(wù) 36
2.5 本章小結(jié) 36
第3章 核心概念和數(shù)據(jù)流模型 37
3.1 Tuple元組 37
3.1.1 Tuple描述 37
3.1.2 Tuple的生命周期 38
3.2 Spout數(shù)據(jù)源 39
3.2.1 Spout介紹 39
3.2.2 Spout實(shí)例 40
3.3 Bolt消息處理者 42
3.3.1 Bolt介紹 42
3.3.2 Bolt實(shí)例 45
3.4 Topology拓?fù)? 47
3.4.1 Topology實(shí)例 48
3.4.2 Topology運(yùn)行 51
3.5 Stream消息流和Stream Grouping消息流組 55
3.5.1 Stream消息流 55
3.5.2 Stream Grouping消息流組 55
3.6 Task任務(wù) 56
3.7 Worker工作者進(jìn)程 56
3.8 Worker、Task、Executor三者之間的關(guān)系 57
3.9 事務(wù) 57
3.10 數(shù)據(jù)流模型 58
3.10.1 數(shù)據(jù)流模型簡(jiǎn)介 58
3.10.2 Storm數(shù)據(jù)流模型 60
3.11 本章小結(jié) 61
實(shí) 戰(zhàn) 篇
第4章 實(shí)例1：移動(dòng)互聯(lián)——語(yǔ)音“實(shí)時(shí)墻” 64
4.1 業(yè)務(wù)背景 64
4.1.1 案例背景 64
4.1.2 設(shè)計(jì)目標(biāo) 65
4.1.3 數(shù)據(jù)格式 66
4.1.4 硬件配置 68
4.2 系統(tǒng)架構(gòu)與模塊設(shè)計(jì) 68
4.2.1 整體架構(gòu) 69
4.2.2 數(shù)據(jù)采集 70
4.2.3 數(shù)據(jù)實(shí)時(shí)處理 70
4.2.4 存儲(chǔ)設(shè)計(jì) 70
4.2.5 Web實(shí)時(shí)展示 71
4.2.6 硬件部署圖 72
4.3 核心模塊實(shí)現(xiàn) 73
4.3.1 實(shí)時(shí)處理業(yè)務(wù)邏輯實(shí)現(xiàn) 73
4.3.2 Web展示實(shí)現(xiàn) 80
4.3.3 最終效果呈現(xiàn) 88
4.4 本章小結(jié) 89
第5章 實(shí)例2：運(yùn)營(yíng)商——網(wǎng)絡(luò)流量流向?qū)崟r(shí)分析 90
5.1 業(yè)務(wù)背景 90
5.1.1 案例背景 91
5.1.2 設(shè)計(jì)目標(biāo) 91
5.1.3 數(shù)據(jù)規(guī)模預(yù)估 92
5.1.4 數(shù)據(jù)格式 92
5.1.5 統(tǒng)計(jì)分析需求 93
5.2 系統(tǒng)架構(gòu)與模塊設(shè)計(jì) 94
5.2.1 整體架構(gòu) 94
5.2.2 數(shù)據(jù)源 95
5.2.3 日志采集 96
5.2.4 數(shù)據(jù)存儲(chǔ) 96
5.2.5 數(shù)據(jù)處理 97
5.2.6 目標(biāo)存儲(chǔ)和擴(kuò)展服務(wù) 97
5.2.7 結(jié)果Web展示 97
5.3 核心模塊實(shí)現(xiàn) 98
5.3.1 模擬數(shù)據(jù)實(shí)現(xiàn) 98
5.3.2 日志采集和存儲(chǔ)實(shí)現(xiàn) 102
5.3.3 數(shù)據(jù)處理實(shí)現(xiàn) 105
5.3.4 Web展示實(shí)現(xiàn) 111
5.4 本章小結(jié) 114
第6章 實(shí)例3：交通——基于GPS的實(shí)時(shí)路況分析 115
6.1 業(yè)務(wù)背景 115
6.1.1 案例背景 115
6.1.2 設(shè)計(jì)目標(biāo) 116
6.1.3 數(shù)據(jù)格式 118
6.1.4 實(shí)時(shí)路況分析方法 118
6.2 系統(tǒng)架構(gòu)和模塊設(shè)計(jì) 118
6.3 核心模塊的實(shí)現(xiàn) 121
6.3.1 安裝Kafka集群 121
6.3.2 Flume整合Kafka 124
6.3.3 實(shí)時(shí)處理數(shù)據(jù) 125
6.3.4 Web頁(yè)面展示 127
6.4 本章小結(jié) 129
第7章 實(shí)例4：互聯(lián)網(wǎng)——數(shù)據(jù)質(zhì)量實(shí)時(shí)監(jiān)控 130
7.1 業(yè)務(wù)背景 130
7.1.1 案例背景 130
7.1.2 設(shè)計(jì)目標(biāo) 132
7.1.3 數(shù)據(jù)格式 132
7.2 系統(tǒng)架構(gòu)與模塊設(shè)計(jì) 133
7.2.1 整體架構(gòu) 133
7.2.2 結(jié)果Web展示 135
7.3 核心模塊實(shí)現(xiàn) 135
7.3.1 模擬數(shù)據(jù) 135
7.3.2 實(shí)時(shí)處理業(yè)務(wù)邏輯的實(shí)現(xiàn) 141
7.3.3 Web界面實(shí)現(xiàn) 147
7.3.4 最終效果圖 150
7.4 本章小結(jié) 152
第8章 實(shí)例5：交通——超速頻發(fā)路段監(jiān)控 153
8.1 業(yè)務(wù)背景 153
8.1.1 案例背景 153
8.1.2 數(shù)據(jù)類(lèi)型 155
8.2 系統(tǒng)架構(gòu)和模塊設(shè)計(jì) 157
8.3 核心模塊實(shí)現(xiàn) 158
8.3.1 實(shí)現(xiàn)入口類(lèi)Main 158
8.3.2 數(shù)據(jù)源SocketSpout的實(shí)現(xiàn) 159
8.3.3 實(shí)時(shí)處理MapSearchBolt和SpeedProcessBolt的實(shí)現(xiàn) 161
8.3.4 目標(biāo)存儲(chǔ)DataBaseLoadBolt的實(shí)現(xiàn) 169
8.4 本章小結(jié) 171
第9章 實(shí)例6：互聯(lián)網(wǎng)——廣告實(shí)時(shí)流量統(tǒng)計(jì) 172
9.1 廣告實(shí)時(shí)流量統(tǒng)計(jì)系統(tǒng)架構(gòu) 172
9.1.1 廣告數(shù)據(jù) 172
9.1.2 詳細(xì)需求描述 174
9.1.3 系統(tǒng)架構(gòu) 175
9.2 表結(jié)構(gòu)與模塊設(shè)計(jì) 177
9.2.1 表結(jié)構(gòu)設(shè)計(jì) 177
9.2.2 功能模塊設(shè)計(jì) 178
9.3 核心模塊實(shí)現(xiàn) 179
9.3.1 部署物理集群環(huán)境 179
9.3.2 Kafka生產(chǎn)者邏輯的實(shí)現(xiàn) 181
9.3.3 使用Stormkafka實(shí)現(xiàn)業(yè)務(wù)邏輯 182
9.3.4 使用HBase存儲(chǔ)并實(shí)現(xiàn)統(tǒng)計(jì) 193
9.4 本章小結(jié) 194
技 巧 篇
第10章 Storm常見(jiàn)故障及解決方法 196
10.1 安裝部署故障 196
10.1.1 “no jzmq in java.library.path”異常 196
10.1.2 “No rule to make target”異常 198
10.1.3 “cannot access org.zeromq.ZMQ”異常 198
10.1.4 缺少pkgconf?ig異常 198
10.1.5 “java.lang.Unsatisf?iedLinkError”異常 199
10.1.6 “java.lang.NoClassDefFoundError：clojure.core.protocols$”異常 199
10.1.7 “Error：cannot link with luuid，install uuiddev”異常 199
10.1.8 “bad interpreter：No such f?ile or directory”異常 200
10.1.9 “org.zeromq.ZMQException：Invalid argument”異常 200
10.2 啟動(dòng)故障 201
10.2.1 “java.io.FileNotFoundException”異常 201
10.2.2 “java.io.EOFException”異常 202
10.3 運(yùn)行時(shí)故障 202
10.3.1 “Nimbus host is not set”異常 203
10.3.2 “AlreadyAliveException（msg：xxx is alreadyactive）”異常 203
10.3.3 無(wú)法序列化log4j.Logger異常 203
10.3.4 “Failing message”異常 203
10.3.5 “java.io.NotSerializableException”異常 204
10.3.6 “java.lang.NoClassDefFoundError”異常 205
10.3.7 “java.net.NoRouteToHostException”異常 206
10.3.8 “java.net.UnknownHostException”異常 206
10.3.9 重復(fù)defaults.yaml資源文件異常 207
10.3.10 “KeeperException$NoNodeException”異常 208
10.3.11 “A fatal error has been detected by the Java Runtime Environment”錯(cuò)誤 209
10.3.12 “java.lang.ArrayIndexOutOfBoundsException”異常 212
10.3.13 DRPC空指針異常 212
10.3.14 Storm Thrift讀取數(shù)據(jù)報(bào)錯(cuò) 212
10.4 本章小結(jié) 214
第11章 Storm使用技巧和最佳實(shí)踐 215
11.1 核心組件使用要點(diǎn) 215
11.1.1 Spout和Bolt 215
11.1.2 ZooKeeper集群盡量獨(dú)立 219
11.1.3 Thrift服務(wù)的應(yīng)用場(chǎng)景 220
11.1.4 序列化機(jī)制的使用場(chǎng)景 220
11.2 集群配置技巧 220
11.2.1 默認(rèn)參數(shù)配置 220
11.2.2 日志信息 223
11.2.3 合理配置JVM參數(shù) 223
11.3 集群運(yùn)維技巧 224
11.3.1 Storm計(jì)算結(jié)果的存儲(chǔ)位置 224
11.3.2 Storm集群動(dòng)態(tài)增刪節(jié)點(diǎn) 224
11.3.3 關(guān)閉Storm相關(guān)進(jìn)程 224
11.3.4 Storm UI顯示內(nèi)容的問(wèn)題 224
11.4 項(xiàng)目開(kāi)發(fā)技巧 225
11.4.1 使用assembly插件打包 225
11.4.2 依賴(lài)JAR沖突 228
11.5 保證消息的可靠處理 228
11.5.1 消息失敗后的處理 228
11.5.2 主動(dòng)干預(yù)可靠性 229
11.5.3 處理重復(fù)的Tuple 229
11.6 理解DRPC原語(yǔ) 230
11.6.1 DRPC工作流 230
11.6.2 LinearDRPCTopologyBuilder實(shí)現(xiàn)類(lèi) 231
11.6.3 DRPC的兩種模式 231
11.7 快速理解一致性事務(wù) 232
11.7.1 Trident框架的使用 233
11.7.2 Trident框架的細(xì)節(jié) 234
11.7.3 事務(wù)性Spout 236
11.7.4 狀態(tài)State 238
11.8 本章小結(jié) 241