大數(shù)據(jù)技術(shù)概論（微課版）

項目1 認(rèn)識大數(shù)據(jù) 1
任務(wù)1.1 大數(shù)據(jù)時代 2
1.1.1 大數(shù)據(jù)時代的來臨 2
1.1.2 大數(shù)據(jù)時代的發(fā)展 5
【任務(wù)評估】 9
任務(wù)1.2 什么是大數(shù)據(jù) 11
1.2.1 大數(shù)據(jù)的定義 11
1.2.2 大數(shù)據(jù)的特征 12
1.2.3 大數(shù)據(jù)的結(jié)構(gòu)類型 13
1.2.4 數(shù)據(jù)科學(xué)與大數(shù)據(jù) 14
【任務(wù)評估】 15
任務(wù)1.3 大數(shù)據(jù)與其他新興技術(shù) 17
1.3.1 云計算 17
1.3.2 物聯(lián)網(wǎng) 19
1.3.3 人工智能 20
【任務(wù)評估】 21
項目總結(jié) 23
項目拓展訓(xùn)練 23
項目評價 25
項目2 了解大數(shù)據(jù)產(chǎn)業(yè) 27
任務(wù)2.1 區(qū)域大數(shù)據(jù)發(fā)展水平 28
2.1.1 總體概況 29
2.1.2 基礎(chǔ)環(huán)境 31
2.1.3 產(chǎn)業(yè)發(fā)展 33
2.1.4 行業(yè)應(yīng)用 34
【任務(wù)評估】 37
任務(wù)2.2 行業(yè)大數(shù)據(jù)發(fā)展水平 39
2.2.1 總體評價 39
2.2.2 發(fā)展特點 40
【任務(wù)評估】 43
任務(wù)2.3 大數(shù)據(jù)企業(yè)發(fā)展水平 45
2.3.1 大數(shù)據(jù)企業(yè)榜單 45
2.3.2 大數(shù)據(jù)企業(yè)細(xì)分領(lǐng)域 47
【任務(wù)評估】 49
任務(wù)2.4 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃及
發(fā)展趨勢 51
2.4.1 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃 51
2.4.2 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展趨勢 54
【任務(wù)評估】 57
任務(wù)2.5 大數(shù)據(jù)產(chǎn)業(yè)人才需求 59
2.5.1 大數(shù)據(jù)產(chǎn)業(yè)人才需求概況 59
2.5.2 大數(shù)據(jù)產(chǎn)業(yè)人才能力要求 60
2.5.3 大數(shù)據(jù)產(chǎn)業(yè)人才及崗位分類 61
2.5.4 大數(shù)據(jù)產(chǎn)業(yè)人才與專業(yè)的
關(guān)系 61
【任務(wù)評估】 63
項目總結(jié) 65
項目拓展訓(xùn)練 65
項目評價 67
項目3 大數(shù)據(jù)平臺與生態(tài)圈 69
任務(wù)3.1 認(rèn)識Hadoop大數(shù)據(jù)平臺 70
3.1.1 Hadoop的前世今生 71
3.1.2 Hadoop的特性 73
3.1.3 Hadoop核心組件 73
【任務(wù)評估】 79
任務(wù)3.2 Hadoop生態(tài)圈 81
3.2.1 Hadoop生態(tài)圈組件 81
3.2.2 Hadoop版本介紹 85
【任務(wù)評估】 87
任務(wù)3.3 認(rèn)識Spark技術(shù)架構(gòu) 89
3.3.1 Spark的發(fā)展 89
3.3.2 Spark與Hadoop的區(qū)別 90
3.3.3 Spark的運行架構(gòu)與運行
流程 91
3.3.4 Spark生態(tài)圈 93
3.3.5 Spark運行模式 94
3.3.6 Spark的應(yīng)用場景 95
【任務(wù)評估】 97
任務(wù)3.4 大數(shù)據(jù)計算架構(gòu) 99
3.4.1 離線計算架構(gòu) 99
3.4.2 實時計算架構(gòu) 100
【任務(wù)評估】 103
項目總結(jié) 105
項目拓展訓(xùn)練 105
項目評價 107
項目4 大數(shù)據(jù)采集 109
任務(wù)4.1 了解大數(shù)據(jù)采集 110
4.1.1 數(shù)據(jù)采集的概念 110
4.1.2 數(shù)據(jù)采集的數(shù)據(jù)源 111
【任務(wù)評估】 113
任務(wù)4.2 大數(shù)據(jù)采集的方法與工具 115
4.2.1 日志采集系統(tǒng) 115
4.2.2 網(wǎng)絡(luò)數(shù)據(jù)采集 116
4.2.3 數(shù)據(jù)庫采集 118
4.2.4 分布式消息訂閱 118
【任務(wù)評估】 121
項目總結(jié) 123
項目拓展訓(xùn)練 123
項目評價 125
項目5 大數(shù)據(jù)存儲 127
任務(wù)5.1 大數(shù)據(jù)存儲概述 128
5.1.1 大數(shù)據(jù)存儲的概念 128
5.1.2 大數(shù)據(jù)存儲的類型 129
5.1.3 大數(shù)據(jù)存儲的關(guān)鍵技術(shù) 131
【任務(wù)評估】 133
任務(wù)5.2 大數(shù)據(jù)存儲的方式 135
5.2.1 分布式存儲 135
5.2.2 數(shù)據(jù)倉庫 139
5.2.3 NoSQL數(shù)據(jù)庫 143
5.2.4 NewSQL數(shù)據(jù)庫 144
5.2.5 云數(shù)據(jù)庫 145
【任務(wù)評估】 147
任務(wù)5.3 了解NoSQL數(shù)據(jù)庫工具 149
5.3.1 HBase 149
5.3.2 MongoDB 150
5.3.3 Redis 153
5.3.4 LevelDB 154
5.3.5 Neo4j 155
【任務(wù)評估】 157
任務(wù)5.4 大數(shù)據(jù)安全 159
5.4.1 大數(shù)據(jù)安全概述 159
5.4.2 大數(shù)據(jù)安全體系 160
5.4.3 大數(shù)據(jù)安全關(guān)鍵技術(shù) 161
5.4.4 大數(shù)據(jù)安全法律法規(guī) 161
【任務(wù)評估】 165
項目總結(jié) 167
項目拓展訓(xùn)練 167
項目評價 169
項目6 大數(shù)據(jù)預(yù)處理 171
任務(wù)6.1 認(rèn)識數(shù)據(jù)清洗 173
6.1.1 數(shù)據(jù)清洗的定義 173
6.1.2 數(shù)據(jù)清洗的原理 173
6.1.3 數(shù)據(jù)清洗的流程 174
6.1.4 數(shù)據(jù)清洗的方法 175
6.1.5 認(rèn)識ETL 180
【任務(wù)評估】 183
任務(wù)6.2 數(shù)據(jù)清洗的常用工具 185
6.2.1 Excel 185
6.2.2 Kettle 186
6.2.3 DataCleaner 186
6.2.4 OpenRefine 187
6.2.5 Smartbi 187
【任務(wù)評估】 189
任務(wù)6.3 數(shù)據(jù)轉(zhuǎn)換 191
6.3.1 數(shù)據(jù)離散化 191
6.3.2 數(shù)據(jù)平滑 193
6.3.3 屬性構(gòu)造 194
6.3.4 數(shù)據(jù)聚合 195
6.3.5 數(shù)據(jù)規(guī)范化 196
【任務(wù)評估】 199
任務(wù)6.4 數(shù)據(jù)標(biāo)準(zhǔn) 201
6.4.1 數(shù)據(jù)標(biāo)準(zhǔn)的概念 201
6.4.2 數(shù)據(jù)標(biāo)準(zhǔn)的分類 201
6.4.3 數(shù)據(jù)標(biāo)準(zhǔn)的管理 202
6.4.4 數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)資產(chǎn)的
關(guān)系 205
【任務(wù)評估】 207
任務(wù)6.5 數(shù)據(jù)質(zhì)量與數(shù)據(jù)脫敏 209
6.5.1 數(shù)據(jù)質(zhì)量的定義 209
6.5.2 數(shù)據(jù)質(zhì)量的常見問題 210
6.5.3 數(shù)據(jù)脫敏 211
【任務(wù)評估】 213
項目總結(jié) 215
項目拓展訓(xùn)練 215
項目評價 217
項目7 大數(shù)據(jù)分析與挖掘 219
任務(wù)7.1 大數(shù)據(jù)分析 220
7.1.1 大數(shù)據(jù)分析的概念 221
7.1.2 大數(shù)據(jù)分析的流程 222
7.1.3 大數(shù)據(jù)分析的方法 222
7.1.4 大數(shù)據(jù)分析工具庫 225
【任務(wù)評估】 229
任務(wù)7.2 數(shù)據(jù)挖掘 231
7.2.1 數(shù)據(jù)挖掘的概念 231
7.2.2 數(shù)據(jù)挖掘算法 234
7.2.3 大數(shù)據(jù)挖掘工具 235
【任務(wù)評估】 237
項目總結(jié) 239
項目拓展訓(xùn)練 239
項目評價 241
項目8 大數(shù)據(jù)可視化 243
任務(wù)8.1 數(shù)據(jù)可視化基礎(chǔ) 244
8.1.1 數(shù)據(jù)可視化的概念 244
8.1.2 數(shù)據(jù)可視化的發(fā)展 244
8.1.3 數(shù)據(jù)可視化的優(yōu)勢 246
8.1.4 數(shù)據(jù)可視化的方法 247
【任務(wù)評估】 249
任務(wù)8.2 數(shù)據(jù)可視化常用圖表 251
8.2.1 常用圖表介紹 251
8.2.2 圖表的選擇與應(yīng)用 260
【任務(wù)評估】 261
任務(wù)8.3 大數(shù)據(jù)可視化常用工具 263
8.3.1 大數(shù)據(jù)可視化工具 263
8.3.2 大數(shù)據(jù)可視化開源庫 263
【任務(wù)評估】 265
項目總結(jié) 267
項目拓展訓(xùn)練 267
項目評價 269
項目9 中國信創(chuàng)與大數(shù)據(jù)中臺 271
任務(wù)9.1 什么是信創(chuàng) 273
9.1.1 信創(chuàng)的概念 273
9.1.2 信創(chuàng)的發(fā)展歷程 274
【任務(wù)評估】 277
任務(wù)9.2 信創(chuàng)的現(xiàn)狀和發(fā)展前景 279
9.2.1 信創(chuàng)的現(xiàn)狀 279
9.2.2 信創(chuàng)的發(fā)展前景 282
【任務(wù)評估】 285
任務(wù)9.3 信創(chuàng)之大數(shù)據(jù)中臺 287
9.3.1 產(chǎn)品概述 287
9.3.2 產(chǎn)品優(yōu)勢 289
9.3.3 產(chǎn)品架構(gòu) 291
9.3.4 產(chǎn)品適用場景 293
【任務(wù)評估】 297
項目總結(jié) 299
項目拓展訓(xùn)練 299
項目評價 301
項目10 大數(shù)據(jù)應(yīng)用綜合平臺
典型案例 303
任務(wù)10.1 某市智慧城市建設(shè)項目
案例 304
10.1.1 項目背景 304
10.1.2 建設(shè)目標(biāo) 305
10.1.3 技術(shù)架構(gòu) 305
10.1.4 建設(shè)成效 306
【任務(wù)評估】 309
任務(wù)10.2 某市高新區(qū)城市駕駛艙平臺
建設(shè)項目案例 311
10.2.1 項目背景 311
10.2.2 建設(shè)目標(biāo) 311
10.2.3 技術(shù)架構(gòu) 311
10.2.4 建設(shè)成效 312
【任務(wù)評估】 315
任務(wù)10.3 養(yǎng)老保險全國統(tǒng)籌數(shù)據(jù)平臺
建設(shè)項目案例 317
10.3.1 項目背景 317
10.3.2 建設(shè)目標(biāo) 317
10.3.3 技術(shù)架構(gòu) 318
10.3.4 建設(shè)成效 319
【任務(wù)評估】 321
項目總結(jié) 323
項目拓展訓(xùn)練 323
項目評價 325
參考文獻(xiàn) 327