大數(shù)據(jù)導(dǎo)論

項(xiàng)目1 大數(shù)據(jù)與大數(shù)據(jù)時(shí)代
任務(wù)1．1 進(jìn)入大數(shù)據(jù)時(shí)代
【導(dǎo)讀案例】 準(zhǔn)確預(yù)測地震
【任務(wù)描述】
【知識準(zhǔn)備】 進(jìn)入大數(shù)據(jù)時(shí)代
1．1．1 天文學(xué)――信息爆炸的起源
1．1．2 大數(shù)據(jù)的發(fā)展
1．1．3 重新認(rèn)識數(shù)據(jù)
1．1．4 數(shù)據(jù)集與數(shù)據(jù)分析
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI公司的背景信息
任務(wù)1．2 熟悉大數(shù)據(jù)的定義
【導(dǎo)讀案例】 得數(shù)據(jù)者得天下
【任務(wù)描述】
【知識準(zhǔn)備】 定義大數(shù)據(jù)
1．2．1 大數(shù)據(jù)的定義
1．2．2 大數(shù)據(jù)的3V和5V特征
1．2．3 廣義的大數(shù)據(jù)
1．2．4 大數(shù)據(jù)的結(jié)構(gòu)類型
【作 業(yè)】
【實(shí)訓(xùn)操作】 為ETI公司確定數(shù)據(jù)特征與類型
項(xiàng)目2 大數(shù)據(jù)時(shí)代思維變革
任務(wù)2．1 理解思維轉(zhuǎn)變之一：樣本=總體
【導(dǎo)讀案例】 亞馬遜推薦系統(tǒng)
【任務(wù)描述】
【知識準(zhǔn)備】 分析更多數(shù)據(jù)而不再是只依賴于隨機(jī)采樣
2．1．1 小數(shù)據(jù)時(shí)代的隨機(jī)采樣
2．1．2 大數(shù)據(jù)與喬布斯的癌癥治療
2．1．3 全數(shù)據(jù)模式：樣本=總體
【作 業(yè)】
【實(shí)訓(xùn)操作】 搜索與分析，體驗(yàn)“樣本=總體”
任務(wù)2．2 理解思維轉(zhuǎn)變之二：接受數(shù)據(jù)的混雜性
【導(dǎo)讀案例】 數(shù)據(jù)驅(qū)動≠大數(shù)據(jù)
【任務(wù)描述】
【知識準(zhǔn)備】 不再熱衷于追求精確度
2．2．1 允許不精確
2．2．2 大數(shù)據(jù)的簡單算法與小數(shù)據(jù)的復(fù)雜算法
2．2．3 紛繁的數(shù)據(jù)越多越好
2．2．4 混雜性是標(biāo)準(zhǔn)途徑
2．2．5 新的數(shù)據(jù)庫設(shè)計(jì)
2．2．6 5%的數(shù)字?jǐn)?shù)據(jù)與95%的非結(jié)構(gòu)化數(shù)據(jù)
【作 業(yè)】
【實(shí)訓(xùn)操作】 搜索與分析，體驗(yàn)“接受數(shù)據(jù)的混雜性”
任務(wù)2．3 理解思維轉(zhuǎn)變之三：數(shù)據(jù)的相關(guān)關(guān)系
【導(dǎo)讀案例】 美國百億美元望遠(yuǎn)鏡主鏡安裝完畢
【任務(wù)描述】
【知識準(zhǔn)備】 不再熱衷于尋找因果關(guān)系
2．3．1 關(guān)聯(lián)物，預(yù)測的關(guān)鍵
2．3．2 “是什么”，而不是“為什么”
2．3．3 通過因果關(guān)系了解世界
2．3．4 通過相關(guān)關(guān)系了解世界
【作 業(yè)】
【實(shí)訓(xùn)操作】 搜索與分析，體驗(yàn)“數(shù)據(jù)的相關(guān)關(guān)系”
項(xiàng)目3 大數(shù)據(jù)促進(jìn)行業(yè)發(fā)展
任務(wù)3．1 理解大數(shù)據(jù)促進(jìn)醫(yī)療與健康
【導(dǎo)讀案例】 大數(shù)據(jù)變革公共衛(wèi)生
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)促進(jìn)醫(yī)療與健康
3．1．1 大數(shù)據(jù)促進(jìn)循證醫(yī)學(xué)發(fā)展
3．1．2 大數(shù)據(jù)帶來醫(yī)療保健新突破
3．1．3 醫(yī)療信息數(shù)字化
3．1．4 超級大數(shù)據(jù)的最佳伙伴――搜索
3．1．5 數(shù)據(jù)決策的成功崛起
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)在醫(yī)療健康領(lǐng)域的應(yīng)用
任務(wù)3．2 理解大數(shù)據(jù)激發(fā)創(chuàng)造力
【導(dǎo)讀案例】 臉書的設(shè)計(jì)決策
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)激發(fā)創(chuàng)造力
3．2．1 大數(shù)據(jù)幫助改善設(shè)計(jì)
3．2．2 大數(shù)據(jù)操作回路
3．2．3 大數(shù)據(jù)資產(chǎn)的崛起
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)如何激發(fā)創(chuàng)造力
項(xiàng)目4 大數(shù)據(jù)方法的驅(qū)動力
任務(wù)4．1 理解采用大數(shù)據(jù)的商業(yè)動機(jī)
【導(dǎo)讀案例】 大數(shù)據(jù)企業(yè)的縮影――谷歌（Google）
【任務(wù)描述】
【知識準(zhǔn)備】 將數(shù)據(jù)變成競爭優(yōu)勢
4．1．1 大數(shù)據(jù)的跨界年度
4．1．2 谷歌的大數(shù)據(jù)行動
4．1．3 亞馬遜的大數(shù)據(jù)行動
4．1．4 將信息變成一種競爭優(yōu)勢
4．1．5 市場動態(tài)
4．1．6 業(yè)務(wù)架構(gòu)
4．1．7 業(yè)務(wù)流程管理
【作 業(yè)】
【實(shí)訓(xùn)操作】 理解采用大數(shù)據(jù)的商業(yè)動機(jī)
任務(wù)4．2 理解大數(shù)據(jù)規(guī)劃考慮
【導(dǎo)讀案例】 Google搜索算法告訴你，如何將一個(gè)人變成“傻瓜”
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)的規(guī)劃考慮
4．2．1 信息與通信技術(shù)
4．2．2 萬物互聯(lián)網(wǎng)
4．2．3 數(shù)據(jù)獲取與數(shù)據(jù)來源
4．2．4 不同的性能挑戰(zhàn)
4．2．5 不同的管理需求
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI公司掌握大數(shù)據(jù)規(guī)劃方法
任務(wù)4．3 熟悉大數(shù)據(jù)商務(wù)智能
【導(dǎo)讀案例】 微信支付新廣告，講了一個(gè)支付之外的故事
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)的商務(wù)智能
4．3．1 OLTP與OLAP
4．3．2 抽取、轉(zhuǎn)換和加載技術(shù)
4．3．3 數(shù)據(jù)倉庫與數(shù)據(jù)集市
4．3．4 傳統(tǒng)商務(wù)智能
4．3．5 大數(shù)據(jù)商務(wù)智能
4．3．6 大數(shù)據(jù)營銷
【作 業(yè)】
【實(shí)訓(xùn)操作】 學(xué)習(xí)“五力模型”，熟悉大數(shù)據(jù)商務(wù)智能
項(xiàng)目5 大數(shù)據(jù)存儲技術(shù)
任務(wù)5．1 熟悉大數(shù)據(jù)存儲概念
【導(dǎo)讀案例】 2018未來交通峰會召開，高德地圖升級易行平臺
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)存儲概念
5．1．1 數(shù)據(jù)清理
5．1．2 集群
5．1．3 文件系統(tǒng)和分布式文件系統(tǒng)
5．1．4 分片與復(fù)制
5．1．5 CAP定理
5．1．6 ACID設(shè)計(jì)原則
5．1．7 BASE設(shè)計(jì)原理
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)存儲的概念
任務(wù)5．2 了解大數(shù)據(jù)存儲技術(shù)
【導(dǎo)讀案例】 基礎(chǔ)領(lǐng)域突破非一日之功，是數(shù)十年的耕耘
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)存儲技術(shù)
5．2．1 RDBMS數(shù)據(jù)庫
5．2．2 NoSQL數(shù)據(jù)庫
5．2．3 NewSQL數(shù)據(jù)庫
5．2．4 內(nèi)存存儲設(shè)備
5．2．5 內(nèi)存數(shù)據(jù)網(wǎng)格
5．2．6 內(nèi)存數(shù)據(jù)庫
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉大數(shù)據(jù)存儲技術(shù)
項(xiàng)目6 大數(shù)據(jù)處理技術(shù)
任務(wù)6．1 熟悉大數(shù)據(jù)處理技術(shù)
【導(dǎo)讀案例】 Cloudera領(lǐng)銜大數(shù)據(jù)基礎(chǔ)設(shè)施
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)技術(shù)架構(gòu)及處理技術(shù)
6．1．1 開源技術(shù)的商業(yè)支援
6．1．2 大數(shù)據(jù)的技術(shù)架構(gòu)
6．1．3 Hadoop數(shù)據(jù)處理基礎(chǔ)
6．1．4 處理工作量
6．1．5 批處理模式
6．1．6 SCV原則
6．1．7 實(shí)時(shí)處理模式
【作 業(yè)】
【實(shí)訓(xùn)操作】 理解和熟悉大數(shù)據(jù)處理技術(shù)
項(xiàng)目7 大數(shù)據(jù)分析技術(shù)
任務(wù)7．1 了解大數(shù)據(jù)預(yù)測分析
【導(dǎo)讀案例】 葡萄酒的品質(zhì)
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)預(yù)測分析的內(nèi)容與技術(shù)
7．1．1 什么是預(yù)測分析
7．1．2 數(shù)據(jù)具有內(nèi)在預(yù)測性
7．1．3 定量分析與定性分析
7．1．4 數(shù)據(jù)挖掘
7．1．5 統(tǒng)計(jì)分析
【作 業(yè)】
【實(shí)訓(xùn)操作】 大數(shù)據(jù)準(zhǔn)備度自我評分表
任務(wù)7．2 數(shù)據(jù)的內(nèi)在預(yù)測性
【導(dǎo)讀案例】 Google AI：機(jī)器學(xué)習(xí)預(yù)測場景深度圖，模擬人眼更進(jìn)一步
【任務(wù)描述】
【知識準(zhǔn)備】 數(shù)據(jù)的內(nèi)在預(yù)測能力
7．2．1 機(jī)器學(xué)習(xí)
7．2．2 語義分析
7．2．3 視覺分析
7．2．4 情感分析
7．2．5 人工神經(jīng)網(wǎng)絡(luò)
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉ETI企業(yè)IT團(tuán)隊(duì)采用的大數(shù)據(jù)分析技術(shù)
任務(wù)7．3 熟悉大數(shù)據(jù)分析的生命周期
【導(dǎo)讀案例】 百度大數(shù)據(jù)為新冠病毒社會影響“畫像”：解讀疫情發(fā)展，量化經(jīng)濟(jì)擊，助力政府決策
導(dǎo)讀案例
【任務(wù)描述】
【知識準(zhǔn)備】 大數(shù)據(jù)分析的生命周期
7．3．1 商業(yè)案例評估
7．3．2 數(shù)據(jù)標(biāo)識
7．3．3 數(shù)據(jù)獲取與過濾
7．3．4 數(shù)據(jù)提取
7．3．5 數(shù)據(jù)驗(yàn)證與清理
7．3．6 數(shù)據(jù)聚合與表示
7．3．7 數(shù)據(jù)分析
7．3．8 數(shù)據(jù)可視化
7．3．9 分析結(jié)果的使用
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI企業(yè)所經(jīng)歷的大數(shù)據(jù)分析生命周期
項(xiàng)目8 大數(shù)據(jù)在云端
任務(wù)8．1 熟悉云時(shí)代背景下的大數(shù)據(jù)
【導(dǎo)讀案例】 亞馬遜，數(shù)據(jù)在云端
【任務(wù)描述】
【知識準(zhǔn)備】 云端大數(shù)據(jù)的基礎(chǔ)設(shè)施
8．1．1 云端大數(shù)據(jù)
8．1．2 計(jì)算虛擬化
8．1．3 存儲虛擬化
8．1．4 網(wǎng)絡(luò)虛擬化
8．1．5 數(shù)據(jù)即服務(wù)
8．1．6 云的挑戰(zhàn)
【作 業(yè)】
【實(shí)訓(xùn)操作】 熟悉云端大數(shù)據(jù)的基礎(chǔ)設(shè)施
任務(wù)8．2 把握大數(shù)據(jù)發(fā)展的未來
【導(dǎo)讀案例】 智能大數(shù)據(jù)分析成熱點(diǎn)
【任務(wù)描述】
【知識準(zhǔn)備】 數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才
8．2．1 數(shù)據(jù)科學(xué)
8．2．2 數(shù)據(jù)科學(xué)家與數(shù)據(jù)工作者
8．2．3 隱私權(quán)與安全性
8．2．4 連接開放數(shù)據(jù)
8．2．5 數(shù)據(jù)市場的興起
8．2．6 將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)
8．2．7 大數(shù)據(jù)未來展望
【作 業(yè)】
【實(shí)訓(xùn)操作】 ETI企業(yè)的大數(shù)據(jù)之旅
【課程學(xué)習(xí)與實(shí)訓(xùn)總結(jié)】
附錄A 課程作業(yè)參考答案
附錄B 課程學(xué)習(xí)能力測評
參考文獻(xiàn)