大數(shù)據(jù)技術(shù)概論（微課版）

項(xiàng)目1 認(rèn)識(shí)大數(shù)據(jù) 1
任務(wù)1.1 大數(shù)據(jù)時(shí)代 2
1.1.1 大數(shù)據(jù)時(shí)代的來(lái)臨 2
1.1.2 大數(shù)據(jù)時(shí)代的發(fā)展 5
【任務(wù)評(píng)估】 9
任務(wù)1.2 什么是大數(shù)據(jù) 11
1.2.1 大數(shù)據(jù)的定義 11
1.2.2 大數(shù)據(jù)的特征 12
1.2.3 大數(shù)據(jù)的結(jié)構(gòu)類型 13
1.2.4 數(shù)據(jù)科學(xué)與大數(shù)據(jù) 14
【任務(wù)評(píng)估】 15
任務(wù)1.3 大數(shù)據(jù)與其他新興技術(shù) 17
1.3.1 云計(jì)算 17
1.3.2 物聯(lián)網(wǎng) 19
1.3.3 人工智能 20
【任務(wù)評(píng)估】 21
項(xiàng)目總結(jié) 23
項(xiàng)目拓展訓(xùn)練 23
項(xiàng)目評(píng)價(jià) 25
項(xiàng)目2 了解大數(shù)據(jù)產(chǎn)業(yè) 27
任務(wù)2.1 區(qū)域大數(shù)據(jù)發(fā)展水平 28
2.1.1 總體概況 29
2.1.2 基礎(chǔ)環(huán)境 31
2.1.3 產(chǎn)業(yè)發(fā)展 33
2.1.4 行業(yè)應(yīng)用 34
【任務(wù)評(píng)估】 37
任務(wù)2.2 行業(yè)大數(shù)據(jù)發(fā)展水平 39
2.2.1 總體評(píng)價(jià) 39
2.2.2 發(fā)展特點(diǎn) 40
【任務(wù)評(píng)估】 43
任務(wù)2.3 大數(shù)據(jù)企業(yè)發(fā)展水平 45
2.3.1 大數(shù)據(jù)企業(yè)榜單 45
2.3.2 大數(shù)據(jù)企業(yè)細(xì)分領(lǐng)域 47
【任務(wù)評(píng)估】 49
任務(wù)2.4 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃及
發(fā)展趨勢(shì) 51
2.4.1 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃 51
2.4.2 大數(shù)據(jù)產(chǎn)業(yè)發(fā)展趨勢(shì) 54
【任務(wù)評(píng)估】 57
任務(wù)2.5 大數(shù)據(jù)產(chǎn)業(yè)人才需求 59
2.5.1 大數(shù)據(jù)產(chǎn)業(yè)人才需求概況 59
2.5.2 大數(shù)據(jù)產(chǎn)業(yè)人才能力要求 60
2.5.3 大數(shù)據(jù)產(chǎn)業(yè)人才及崗位分類 61
2.5.4 大數(shù)據(jù)產(chǎn)業(yè)人才與專業(yè)的
關(guān)系 61
【任務(wù)評(píng)估】 63
項(xiàng)目總結(jié) 65
項(xiàng)目拓展訓(xùn)練 65
項(xiàng)目評(píng)價(jià) 67
項(xiàng)目3 大數(shù)據(jù)平臺(tái)與生態(tài)圈 69
任務(wù)3.1 認(rèn)識(shí)Hadoop大數(shù)據(jù)平臺(tái) 70
3.1.1 Hadoop的前世今生 71
3.1.2 Hadoop的特性 73
3.1.3 Hadoop核心組件 73
【任務(wù)評(píng)估】 79
任務(wù)3.2 Hadoop生態(tài)圈 81
3.2.1 Hadoop生態(tài)圈組件 81
3.2.2 Hadoop版本介紹 85
【任務(wù)評(píng)估】 87
任務(wù)3.3 認(rèn)識(shí)Spark技術(shù)架構(gòu) 89
3.3.1 Spark的發(fā)展 89
3.3.2 Spark與Hadoop的區(qū)別 90
3.3.3 Spark的運(yùn)行架構(gòu)與運(yùn)行
流程 91
3.3.4 Spark生態(tài)圈 93
3.3.5 Spark運(yùn)行模式 94
3.3.6 Spark的應(yīng)用場(chǎng)景 95
【任務(wù)評(píng)估】 97
任務(wù)3.4 大數(shù)據(jù)計(jì)算架構(gòu) 99
3.4.1 離線計(jì)算架構(gòu) 99
3.4.2 實(shí)時(shí)計(jì)算架構(gòu) 100
【任務(wù)評(píng)估】 103
項(xiàng)目總結(jié) 105
項(xiàng)目拓展訓(xùn)練 105
項(xiàng)目評(píng)價(jià) 107
項(xiàng)目4 大數(shù)據(jù)采集 109
任務(wù)4.1 了解大數(shù)據(jù)采集 110
4.1.1 數(shù)據(jù)采集的概念 110
4.1.2 數(shù)據(jù)采集的數(shù)據(jù)源 111
【任務(wù)評(píng)估】 113
任務(wù)4.2 大數(shù)據(jù)采集的方法與工具 115
4.2.1 日志采集系統(tǒng) 115
4.2.2 網(wǎng)絡(luò)數(shù)據(jù)采集 116
4.2.3 數(shù)據(jù)庫(kù)采集 118
4.2.4 分布式消息訂閱 118
【任務(wù)評(píng)估】 121
項(xiàng)目總結(jié) 123
項(xiàng)目拓展訓(xùn)練 123
項(xiàng)目評(píng)價(jià) 125
項(xiàng)目5 大數(shù)據(jù)存儲(chǔ) 127
任務(wù)5.1 大數(shù)據(jù)存儲(chǔ)概述 128
5.1.1 大數(shù)據(jù)存儲(chǔ)的概念 128
5.1.2 大數(shù)據(jù)存儲(chǔ)的類型 129
5.1.3 大數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù) 131
【任務(wù)評(píng)估】 133
任務(wù)5.2 大數(shù)據(jù)存儲(chǔ)的方式 135
5.2.1 分布式存儲(chǔ) 135
5.2.2 數(shù)據(jù)倉(cāng)庫(kù) 139
5.2.3 NoSQL數(shù)據(jù)庫(kù) 143
5.2.4 NewSQL數(shù)據(jù)庫(kù) 144
5.2.5 云數(shù)據(jù)庫(kù) 145
【任務(wù)評(píng)估】 147
任務(wù)5.3 了解NoSQL數(shù)據(jù)庫(kù)工具 149
5.3.1 HBase 149
5.3.2 MongoDB 150
5.3.3 Redis 153
5.3.4 LevelDB 154
5.3.5 Neo4j 155
【任務(wù)評(píng)估】 157
任務(wù)5.4 大數(shù)據(jù)安全 159
5.4.1 大數(shù)據(jù)安全概述 159
5.4.2 大數(shù)據(jù)安全體系 160
5.4.3 大數(shù)據(jù)安全關(guān)鍵技術(shù) 161
5.4.4 大數(shù)據(jù)安全法律法規(guī) 161
【任務(wù)評(píng)估】 165
項(xiàng)目總結(jié) 167
項(xiàng)目拓展訓(xùn)練 167
項(xiàng)目評(píng)價(jià) 169
項(xiàng)目6 大數(shù)據(jù)預(yù)處理 171
任務(wù)6.1 認(rèn)識(shí)數(shù)據(jù)清洗 173
6.1.1 數(shù)據(jù)清洗的定義 173
6.1.2 數(shù)據(jù)清洗的原理 173
6.1.3 數(shù)據(jù)清洗的流程 174
6.1.4 數(shù)據(jù)清洗的方法 175
6.1.5 認(rèn)識(shí)ETL 180
【任務(wù)評(píng)估】 183
任務(wù)6.2 數(shù)據(jù)清洗的常用工具 185
6.2.1 Excel 185
6.2.2 Kettle 186
6.2.3 DataCleaner 186
6.2.4 OpenRefine 187
6.2.5 Smartbi 187
【任務(wù)評(píng)估】 189
任務(wù)6.3 數(shù)據(jù)轉(zhuǎn)換 191
6.3.1 數(shù)據(jù)離散化 191
6.3.2 數(shù)據(jù)平滑 193
6.3.3 屬性構(gòu)造 194
6.3.4 數(shù)據(jù)聚合 195
6.3.5 數(shù)據(jù)規(guī)范化 196
【任務(wù)評(píng)估】 199
任務(wù)6.4 數(shù)據(jù)標(biāo)準(zhǔn) 201
6.4.1 數(shù)據(jù)標(biāo)準(zhǔn)的概念 201
6.4.2 數(shù)據(jù)標(biāo)準(zhǔn)的分類 201
6.4.3 數(shù)據(jù)標(biāo)準(zhǔn)的管理 202
6.4.4 數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)資產(chǎn)的
關(guān)系 205
【任務(wù)評(píng)估】 207
任務(wù)6.5 數(shù)據(jù)質(zhì)量與數(shù)據(jù)脫敏 209
6.5.1 數(shù)據(jù)質(zhì)量的定義 209
6.5.2 數(shù)據(jù)質(zhì)量的常見(jiàn)問(wèn)題 210
6.5.3 數(shù)據(jù)脫敏 211
【任務(wù)評(píng)估】 213
項(xiàng)目總結(jié) 215
項(xiàng)目拓展訓(xùn)練 215
項(xiàng)目評(píng)價(jià) 217
項(xiàng)目7 大數(shù)據(jù)分析與挖掘 219
任務(wù)7.1 大數(shù)據(jù)分析 220
7.1.1 大數(shù)據(jù)分析的概念 221
7.1.2 大數(shù)據(jù)分析的流程 222
7.1.3 大數(shù)據(jù)分析的方法 222
7.1.4 大數(shù)據(jù)分析工具庫(kù) 225
【任務(wù)評(píng)估】 229
任務(wù)7.2 數(shù)據(jù)挖掘 231
7.2.1 數(shù)據(jù)挖掘的概念 231
7.2.2 數(shù)據(jù)挖掘算法 234
7.2.3 大數(shù)據(jù)挖掘工具 235
【任務(wù)評(píng)估】 237
項(xiàng)目總結(jié) 239
項(xiàng)目拓展訓(xùn)練 239
項(xiàng)目評(píng)價(jià) 241
項(xiàng)目8 大數(shù)據(jù)可視化 243
任務(wù)8.1 數(shù)據(jù)可視化基礎(chǔ) 244
8.1.1 數(shù)據(jù)可視化的概念 244
8.1.2 數(shù)據(jù)可視化的發(fā)展 244
8.1.3 數(shù)據(jù)可視化的優(yōu)勢(shì) 246
8.1.4 數(shù)據(jù)可視化的方法 247
【任務(wù)評(píng)估】 249
任務(wù)8.2 數(shù)據(jù)可視化常用圖表 251
8.2.1 常用圖表介紹 251
8.2.2 圖表的選擇與應(yīng)用 260
【任務(wù)評(píng)估】 261
任務(wù)8.3 大數(shù)據(jù)可視化常用工具 263
8.3.1 大數(shù)據(jù)可視化工具 263
8.3.2 大數(shù)據(jù)可視化開(kāi)源庫(kù) 263
【任務(wù)評(píng)估】 265
項(xiàng)目總結(jié) 267
項(xiàng)目拓展訓(xùn)練 267
項(xiàng)目評(píng)價(jià) 269
項(xiàng)目9 中國(guó)信創(chuàng)與大數(shù)據(jù)中臺(tái) 271
任務(wù)9.1 什么是信創(chuàng) 273
9.1.1 信創(chuàng)的概念 273
9.1.2 信創(chuàng)的發(fā)展歷程 274
【任務(wù)評(píng)估】 277
任務(wù)9.2 信創(chuàng)的現(xiàn)狀和發(fā)展前景 279
9.2.1 信創(chuàng)的現(xiàn)狀 279
9.2.2 信創(chuàng)的發(fā)展前景 282
【任務(wù)評(píng)估】 285
任務(wù)9.3 信創(chuàng)之大數(shù)據(jù)中臺(tái) 287
9.3.1 產(chǎn)品概述 287
9.3.2 產(chǎn)品優(yōu)勢(shì) 289
9.3.3 產(chǎn)品架構(gòu) 291
9.3.4 產(chǎn)品適用場(chǎng)景 293
【任務(wù)評(píng)估】 297
項(xiàng)目總結(jié) 299
項(xiàng)目拓展訓(xùn)練 299
項(xiàng)目評(píng)價(jià) 301
項(xiàng)目10 大數(shù)據(jù)應(yīng)用綜合平臺(tái)
典型案例 303
任務(wù)10.1 某市智慧城市建設(shè)項(xiàng)目
案例 304
10.1.1 項(xiàng)目背景 304
10.1.2 建設(shè)目標(biāo) 305
10.1.3 技術(shù)架構(gòu) 305
10.1.4 建設(shè)成效 306
【任務(wù)評(píng)估】 309
任務(wù)10.2 某市高新區(qū)城市駕駛艙平臺(tái)
建設(shè)項(xiàng)目案例 311
10.2.1 項(xiàng)目背景 311
10.2.2 建設(shè)目標(biāo) 311
10.2.3 技術(shù)架構(gòu) 311
10.2.4 建設(shè)成效 312
【任務(wù)評(píng)估】 315
任務(wù)10.3 養(yǎng)老保險(xiǎn)全國(guó)統(tǒng)籌數(shù)據(jù)平臺(tái)
建設(shè)項(xiàng)目案例 317
10.3.1 項(xiàng)目背景 317
10.3.2 建設(shè)目標(biāo) 317
10.3.3 技術(shù)架構(gòu) 318
10.3.4 建設(shè)成效 319
【任務(wù)評(píng)估】 321
項(xiàng)目總結(jié) 323
項(xiàng)目拓展訓(xùn)練 323
項(xiàng)目評(píng)價(jià) 325
參考文獻(xiàn) 327