物聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與實踐

第1篇 緣起與發(fā)展趨勢篇
第1章 物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展\t3
1．1 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展\t3
1．1．1 傳感器與智能硬件\t4
1．1．2 物聯(lián)網(wǎng)服務(wù)平臺\t5
1．1．3 工業(yè)4．0與CPS\t5
1．2 物聯(lián)網(wǎng)與大數(shù)據(jù)\t7
1．3 物聯(lián)網(wǎng)產(chǎn)業(yè)的機遇與挑戰(zhàn)\t9
1．3．1 物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn)\t9
1．3．2 物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫\t10
1．3．3 物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用\t11
第2章 大數(shù)據(jù)處理技術(shù)的發(fā)展\t12
2．1 大數(shù)據(jù)存儲和管理技術(shù)\t12
2．1．1 面向大數(shù)據(jù)的文件系統(tǒng)\t13
2．1．2 面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)\t15
2．2 大數(shù)據(jù)計算技術(shù)\t19
2．2．1 批處理計算模式\t19
2．2．2 交互式查詢計算模式\t20
2．2．3 流處理計算模式\t21
2．2．4 大數(shù)據(jù)實時處理的架構(gòu)：Lamda架構(gòu)\t23
2．3 大數(shù)據(jù)分析技術(shù)\t24
2．3．1 傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析\t26
2．3．2 文本數(shù)據(jù)分析\t26
2．3．3 多媒體數(shù)據(jù)分析\t27
2．3．4 社交網(wǎng)絡(luò)數(shù)據(jù)分析\t27
2．3．5 物聯(lián)網(wǎng)傳感數(shù)據(jù)分析\t28
2．3．6 大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢\t28
第2篇 技術(shù)解析篇
第3章 物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系\t31
3．1 物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn)\t31
3．1．1 互聯(lián)網(wǎng)大數(shù)據(jù)的特征\t31
3．1．2 物聯(lián)網(wǎng)大數(shù)據(jù)的特征\t34
3．2 技術(shù)體系\t37
3．2．1 感知數(shù)據(jù)采集與傳輸\t38
3．2．2 感知數(shù)據(jù)管理與實時計算\t41
3．2．3 物聯(lián)網(wǎng)平臺與大數(shù)據(jù)中心\t42
第4章 感知數(shù)據(jù)特性與模型\t44
4．1 感知數(shù)據(jù)的特性分析\t44
4．1．1 常用的感知數(shù)據(jù)類型\t44
4．1．2 感知數(shù)據(jù)的主要特征\t46
4．2 感知數(shù)據(jù)的表示與組織\t49
4．2．1 物聯(lián)網(wǎng)數(shù)據(jù)模型\t49
4．2．2 時態(tài)對象模型\t51
4．3 感知數(shù)據(jù)庫的定位\t52
4．3．1 感知數(shù)據(jù)庫的定位\t52
4．3．2 感知數(shù)據(jù)庫的特征\t53
4．4 感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫\t53
4．4．1 感知數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫\t53
4．4．2 感知數(shù)據(jù)庫與實時數(shù)據(jù)庫系統(tǒng)\t54
4．4．3 感知數(shù)據(jù)庫與工廠數(shù)據(jù)庫系統(tǒng)\t55
4．4．4 感知數(shù)據(jù)庫與流數(shù)據(jù)處理系統(tǒng)\t55
第5章 感知數(shù)據(jù)庫管理系統(tǒng)\t57
5．1 感知數(shù)據(jù)庫的總體設(shè)計\t57
5．1．1 總體設(shè)計的主要原則\t57
5．1．2 感知數(shù)據(jù)庫的設(shè)計框架\t58
5．2 感知數(shù)據(jù)庫的分布部署體系\t62
5．2．1 系統(tǒng)的集群部署模式\t62
5．2．2 多層級的系統(tǒng)部署體系\t64
5．2．3 服務(wù)分布的部署體系\t66
5．3 感知數(shù)據(jù)庫中的關(guān)鍵技術(shù)\t67
5．3．1 智能設(shè)備及傳感器接口技術(shù)\t67
5．3．2 流數(shù)據(jù)實時在線處理技術(shù)\t68
5．3．3 事件驅(qū)動的高效處理機制\t69
5．3．4 感知數(shù)據(jù)的壓縮存儲技術(shù)\t75
第6章 實時事務(wù)調(diào)度處理技術(shù)\t79
6．1 常見事務(wù)特性分析\t79
6．1．1 感知事務(wù)\t80
6．1．2 觸發(fā)事務(wù)\t80
6．1．3 用戶事務(wù)\t81
6．2 事務(wù)調(diào)度與并發(fā)控制\t81
6．2．1 事務(wù)的調(diào)度方法\t81
6．2．2 并發(fā)控制策略\t82
6．3 服務(wù)器與操作系統(tǒng)\t83
6．3．1 服務(wù)器體系結(jié)構(gòu)與發(fā)展\t83
6．3．2 操作系統(tǒng)的多任務(wù)機制\t87
6．4 事務(wù)的執(zhí)行框架與模式\t90
6．4．1 通用系統(tǒng)模型與調(diào)度方法\t91
6．4．2 事務(wù)處理框架的設(shè)計模式\t91
6．5 系統(tǒng)框架的分析與性能優(yōu)化\t94
第7章 物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理\t97
7．1 云文件系統(tǒng)的關(guān)鍵技術(shù)\t99
7．1．1 HDFS的目標和基本假設(shè)條件\t99
7．1．2 HDFS體系架構(gòu)\t100
7．1．3 性能保障\t102
7．2 NoSQL數(shù)據(jù)庫關(guān)鍵技術(shù)\t106
7．2．1 NoSQL數(shù)據(jù)庫概述\t106
7．2．2 基于NoSQL數(shù)據(jù)庫的物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理\t118
第8章 物聯(lián)網(wǎng)大數(shù)據(jù)計算與分析\t123
8．1 物聯(lián)網(wǎng)大數(shù)據(jù)批處理計算\t123
8．1．1 MapReduce的設(shè)計思想\t124
8．1．2 MapReduce的工作機制\t126
8．1．3 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用\t128
8．2 物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢\t130
8．2．1 原生SQL on HBase\t131
8．2．2 SQL on Hadoop\t132
8．2．3 基于HBase的交互式查詢\t133
8．3 物聯(lián)網(wǎng)大數(shù)據(jù)流式計算\t134
8．3．1 流式計算的需求特點\t134
8．3．2 流數(shù)據(jù)基本概念\t135
8．3．3 流數(shù)據(jù)查詢操作\t140
8．3．4 流數(shù)據(jù)定制化服務(wù)\t142
8．3．5 評測基準\t145
8．3．6 Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用\t146
8．4 物聯(lián)網(wǎng)大數(shù)據(jù)分析\t150
8．4．1 物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析\t151
8．4．2 物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析\t157
第3篇 產(chǎn)品研發(fā)篇
第9章 物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne\t175
9．1 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān)\t175
9．1．1 CubeOne產(chǎn)品概述\t175
9．1．2 CubeOne功能特點\t176
9．1．3 CubeOne的應(yīng)用領(lǐng)域\t178
9．2 無線傳感器網(wǎng)絡(luò)網(wǎng)關(guān)\t178
9．2．1 無線傳感器網(wǎng)絡(luò)概述\t178
9．2．2 ZigBee-WiFi網(wǎng)關(guān)\t180
9．2．3 ZigBee網(wǎng)絡(luò)應(yīng)用案例\t182
第10章 ChinDB感知數(shù)據(jù)庫系統(tǒng)\t185
10．1 ChinDB系統(tǒng)概述\t185
10．2 ChinDB組成與功能特點\t186
10．3 ChinDB數(shù)據(jù)組織管理\t188
10．3．1 標簽點及其屬性\t188
10．3．2 標簽點的組織方式\t189
10．3．3 關(guān)系數(shù)據(jù)管理\t190
10．3．4 歷史數(shù)據(jù)管理\t190
10．4 ECA規(guī)則與實時計算\t191
10．5 ChinDB的HA方案\t192
10．5．1 HA概述及模式分類\t192
10．5．2 ChinDB HA的部署模式\t193
10．6 物聯(lián)網(wǎng)應(yīng)用平臺\t195
10．6．1 物聯(lián)網(wǎng)平臺概述\t195
10．6．2 平臺主要特點\t196
10．6．3 應(yīng)用領(lǐng)域與應(yīng)用案例\t198
第11章 DeCloud物聯(lián)大數(shù)據(jù)云平臺\t202
11．1 DeCloud組成\t202
11．1．1 軟件概述\t202
11．1．2 通信服務(wù)\t204
11．1．3 計算服務(wù)\t206
11．1．4 存儲服務(wù)\t207
11．1．5 數(shù)據(jù)發(fā)布/訂閱服務(wù)\t208
11．2 DeCloud在智能交通領(lǐng)域的應(yīng)用\t209
11．3 DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺中的應(yīng)用\t215
11．4 DeCloud在電廠設(shè)備故障預(yù)警的應(yīng)用\t218
11．5 DeCloud在電梯安全監(jiān)控中的應(yīng)用\t222
11．6 DeCloud在高精度位置服務(wù)中的應(yīng)用\t225
總結(jié)與展望