云計算與大數(shù)據(jù)技術(shù)（第2版 微課視頻 題庫版）

第一部分云計算理論與技術(shù)

第1章云計算概論

1.1什么是云計算

1.2云計算的產(chǎn)生背景

1.3云計算的發(fā)展歷史

1.4如何學(xué)好云計算

1.5小結(jié)

習(xí)題

第2章云計算基礎(chǔ)

2.1分布式計算

2.2云計算的基本概念

2.3分布式計算和云計算的區(qū)別與聯(lián)系

2.4云計算的關(guān)鍵技術(shù)

2.4.1分布式海量數(shù)據(jù)存儲

2.4.2虛擬化技術(shù)

2.4.3云管理平臺技術(shù)

2.4.4并行編程技術(shù)

2.4.5數(shù)據(jù)管理技術(shù)

2.5云交付模型

2.5.1SaaS

2.5.2PaaS

2.5.3IaaS

2.5.4基本云交付模型的比較

2.6云部署模式

2.6.1公有云

2.6.2私有云

2.6.3混合云

2.7云計算的優(yōu)勢與挑戰(zhàn)

2.8典型的云應(yīng)用

2.8.1云存儲

2.8.2云服務(wù)

2.8.3云物聯(lián)

2.9云計算與大數(shù)據(jù)

2.10小結(jié)

習(xí)題

第3章云計算機制

3.1云基礎(chǔ)設(shè)施機制

3.1.1虛擬網(wǎng)絡(luò)邊界

3.1.2虛擬服務(wù)器

3.1.3云存儲設(shè)備

3.1.4就緒環(huán)境

3.2云管理機制

3.2.1遠程管理系統(tǒng)

3.2.2資源池化管理

3.2.3服務(wù)等級協(xié)議管理系統(tǒng)

3.2.4計費管理系統(tǒng)

3.2.5資源備份

3.2.6云監(jiān)控

3.2.7自動化運維

3.2.8服務(wù)模板管理

3.2.9云CMDB及流程管理

3.2.10服務(wù)目錄管理

3.2.11租戶及用戶管理

3.2.12容量規(guī)劃及管理

3.3特殊云機制

3.3.1自動伸縮監(jiān)聽器

3.3.2負載均衡器

3.3.3故障轉(zhuǎn)移系統(tǒng)

3.3.4資源集群

3.3.5多設(shè)備代理

3.3.6狀態(tài)管理數(shù)據(jù)庫

3.4小結(jié)

習(xí)題

第4章虛擬化

4.1虛擬化簡介

4.1.1什么是虛擬化

4.1.2虛擬化的發(fā)展歷史

4.1.3虛擬化帶來的好處

4.2虛擬化的分類

4.2.1服務(wù)器虛擬化

4.2.2網(wǎng)絡(luò)虛擬化

4.2.3存儲虛擬化

4.2.4應(yīng)用虛擬化

4.2.5技術(shù)比較

4.3系統(tǒng)虛擬化

4.4虛擬化與云計算

4.5開源技術(shù)

4.5.1Xen

4.5.2KVM

4.5.3OpenVZ

4.6虛擬化未來的發(fā)展趨勢

4.7小結(jié)

習(xí)題

第5章云計算的應(yīng)用

5.1概述

5.2亞馬遜公司的彈性計算云

5.2.1開放的服務(wù)

5.2.2靈活的工作模式

5.2.3帶來的好處

5.3Microsoft Azure

5.3.1簡介

5.3.2Microsoft Azure的架構(gòu)

5.3.3Microsoft Azure服務(wù)平臺

5.3.4開發(fā)步驟

5.4谷歌公司的云計算平臺與應(yīng)用

5.4.1MapReduce分布式編程環(huán)境

5.4.2分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable

5.4.3谷歌的云應(yīng)用

5.5阿里云

5.5.1簡介

5.5.2阿里云的主要產(chǎn)品

5.6IBM公司的藍云云計算平臺

5.6.1藍云云計算平臺中的虛擬化

5.6.2藍云云計算平臺中的存儲結(jié)構(gòu)

5.7清華大學(xué)的透明計算平臺

5.8小結(jié)

習(xí)題

第二部分大數(shù)據(jù)理論與技術(shù)

第6章大數(shù)據(jù)概念和發(fā)展背景

6.1什么是大數(shù)據(jù)

6.2大數(shù)據(jù)的特點

6.3大數(shù)據(jù)的發(fā)展

6.4大數(shù)據(jù)的應(yīng)用

6.5小結(jié)

習(xí)題

第7章大數(shù)據(jù)系統(tǒng)架構(gòu)概述

7.1總體架構(gòu)概述

7.1.1總體架構(gòu)設(shè)計原則

7.1.2總體架構(gòu)參考模型

7.2運行架構(gòu)概述

7.2.1物理架構(gòu)

7.2.2集成架構(gòu)

7.2.3安全架構(gòu)

7.3主流大數(shù)據(jù)系統(tǒng)廠商

7.3.1Cloudera

7.3.2Hortonworks

7.3.3亞馬遜

7.3.4谷歌

7.3.5微軟

7.3.6阿里云數(shù)加平臺

7.4小結(jié)

習(xí)題

第8章分布式通信與協(xié)同

8.1數(shù)據(jù)編碼傳輸

8.1.1數(shù)據(jù)編碼概述

8.1.2LZSS算法

8.1.3Snappy壓縮庫

8.2分布式通信系統(tǒng)

8.2.1遠程過程調(diào)用

8.2.2消息隊列

8.2.3應(yīng)用層多播通信

8.2.4Hadoop IPC應(yīng)用

8.3分布式協(xié)同系統(tǒng)

8.3.1Chubby鎖服務(wù)

8.3.2ZooKeeper

8.3.3ZooKeeper在HDFS高可用中使用

8.4小結(jié)

習(xí)題

第9章大數(shù)據(jù)存儲

9.1大數(shù)據(jù)存儲技術(shù)的發(fā)展

9.2海量數(shù)據(jù)存儲的關(guān)鍵技術(shù)

9.2.1數(shù)據(jù)分片與路由

9.2.2數(shù)據(jù)復(fù)制與一致性

9.3重要數(shù)據(jù)結(jié)構(gòu)和算法

9.3.1Bloom Filter

9.3.2LSM樹

9.3.3Merkle哈希樹

9.3.4Cuckoo哈希

9.4分布式文件系統(tǒng)

9.4.1文件存儲格式

9.4.2GFS

9.4.3HDFS

9.5分布式數(shù)據(jù)庫NoSQL

9.5.1NoSQL數(shù)據(jù)庫概述

9.5.2KV數(shù)據(jù)庫

9.5.3列式數(shù)據(jù)庫

9.5.4圖數(shù)據(jù)庫

9.5.5文檔數(shù)據(jù)庫

9.6HBase數(shù)據(jù)庫搭建與使用

9.6.1HBase偽分布式運行

9.6.2HBase分布式運行

9.7大數(shù)據(jù)存儲技術(shù)的趨勢

9.8小結(jié)

習(xí)題

第10章分布式處理

10.1CPU多核和POSIX Thread

10.2MPI并行計算框架

10.3Hadoop MapReduce

10.4Spark

10.5數(shù)據(jù)處理技術(shù)的發(fā)展

10.6小結(jié)

習(xí)題

第11章Hadoop MapReduce解析

11.1Hadoop MapReduce架構(gòu)

11.2Hadoop MapReduce與高性能計算、網(wǎng)格計算的區(qū)別

11.3MapReduce工作機制

11.3.1Map

11.3.2Reduce

11.3.3Combine

11.3.4Shuffle

11.3.5Speculative Task

11.3.6任務(wù)容錯

11.4應(yīng)用案例

11.4.1WordCount

11.4.2WordMean

11.4.3Grep

11.5MapReduce的缺陷與不足

11.6小結(jié)

習(xí)題

第12章Spark解析

12.1Spark RDD

12.2Spark與MapReduce對比

12.3Spark工作機制

12.3.1DAG工作圖

12.3.2Partition

12.3.3Lineage容錯方法

12.3.4內(nèi)存管理

12.3.5數(shù)據(jù)持久化

12.4數(shù)據(jù)讀取

12.4.1HDFS

12.4.2Amazon S3

12.4.3HBase

12.5應(yīng)用案例

12.5.1日志挖掘

12.5.2判別西瓜好壞

12.6Spark的發(fā)展趨勢

12.7小結(jié)

習(xí)題

第13章流計算

13.1流計算概述

13.2流計算與批處理系統(tǒng)對比

13.3Storm流計算系統(tǒng)

13.4Samza流計算系統(tǒng)

13.5集群日志文件實時分析

13.6流計算的發(fā)展趨勢

13.7小結(jié)

習(xí)題

第14章集群資源管理與調(diào)度

14.1集群資源統(tǒng)一管理系統(tǒng)

14.1.1集群資源管理概述

14.1.2Apache YARN

14.1.3Apache Mesos

14.1.4Google Omega

14.2資源管理模型

14.2.1基于slot的資源表示模型

14.2.2基于最大最小公平原則的資源分配模型

14.3資源調(diào)度策略

14.3.1調(diào)度策略概述

14.3.2Capacity Scheduler調(diào)度

14.3.3Fair Scheduler調(diào)度

14.4YARN上運行計算框架

14.4.1MapReduce on YARN

14.4.2Spark on YARN

14.4.3YARN程序設(shè)計

14.5小結(jié)

習(xí)題

第15章機器學(xué)習(xí)

15．1機器學(xué)習(xí)概述

15．1．1關(guān)鍵術(shù)語

15．1．2機器學(xué)習(xí)的分類

15．1．3機器學(xué)習(xí)的模型構(gòu)造過程

15．2監(jiān)督學(xué)習(xí)

15．2．1線性回歸

15．2．2邏輯斯特回歸

15．2．3最小近鄰法

15．2．4線性判別分析法

15．2．5樸素貝葉斯分類算法

15．2．6決策樹分類算法

15．2．7支持向量機分類算法

15．3非監(jiān)督學(xué)習(xí)

15．3．1劃分式聚類方法

15．3．2層次化聚類方法

15．3．3基于密度的聚類方法

15．4強化學(xué)習(xí)

15．4．1強化學(xué)習(xí)VS監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)

15．4．2強化學(xué)習(xí)問題描述

15．4．3強化學(xué)習(xí)問題分類

15．5神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

15．5．1感知器模型

15．5．2前饋神經(jīng)網(wǎng)絡(luò)

15．5．3卷積神經(jīng)網(wǎng)絡(luò)

15．5．4其他類型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)

15．6案例： 銀行貸款用戶篩選

15.7小結(jié)

習(xí)題

第三部分綜 合 實 踐

第16章實驗： AWS

16.1實驗一： 創(chuàng)建一個EC2實例

16.2實驗二： 創(chuàng)建一個彈性高可用的博客

16.3實驗三： 使用S3來實現(xiàn)靜態(tài)網(wǎng)站

16.4實驗四： AWS關(guān)系型數(shù)據(jù)庫入門

16.5實驗五： AWS大數(shù)據(jù)系列平臺

16.6實驗六： AWS計算存儲網(wǎng)絡(luò)基礎(chǔ)入門

16.7實驗七： AWS上的Kubernetes創(chuàng)建、管理及DevOps

第17章實驗： 阿里云

17.1實驗一： 創(chuàng)建阿里云服務(wù)器

17.2實驗二： 配置SSH遠程連接

17.3實驗三： 安裝Python環(huán)境

17.4實驗四： 部署并啟動Django服務(wù)

第18章實驗： Docker

18.1Docker的核心概念

18.2實驗一： Docker的安裝

18.3實驗二： 容器操作

18.4實驗三： 搭建一個Docker應(yīng)用棧

18.5實驗四： 實現(xiàn)私有云

第19章實驗： Hadoop、HDFS、MapReduce、Spark

19.1Hadoop

19.1.1實驗一： 構(gòu)建虛擬機網(wǎng)絡(luò)

19.1.2實驗二： 大數(shù)據(jù)環(huán)境安裝

19．2HDFS

19．2．1實驗一： 文件創(chuàng)建與讀/寫

19．2．2實驗二： 文件上傳

19．2．3實驗三： 文件下載

19．2．4實驗四： 使用字符流讀取數(shù)據(jù)

19．2．5實驗五： 刪除文件

19．2．6實驗六： 刪除文件夾

19．2．7實驗七： 自定義數(shù)據(jù)輸入流

19．3MapReduce

19．3．1實驗一： 合并去重

19．3．2實驗二： PageRank算法

19．4Spark

19．4．1實驗一： 安裝Spark

19．4．2實驗二： 使用Spark Shell編寫代碼

19．4．3實驗三： 使用Java編寫Spark應(yīng)用程序

第20章案例： 基于Docker的云計算服務(wù)平臺搭建

20．1方案介紹

20．1．1云平臺總體架構(gòu)

20．1．2網(wǎng)絡(luò)架構(gòu)

20．1．3集群架構(gòu)

20．1．4性能監(jiān)控

20．1．5Docker架構(gòu)

20．1．6鏡像架構(gòu)

20．2系統(tǒng)分析

20．2．1優(yōu)點

20．2．2局限性

20．2．3應(yīng)用場景

20．3門戶界面

20．3．1注冊

20．3．2登錄

20．3．3用戶主界面

20．3．4管理員界面

20．4服務(wù)器Docker配置

第21章案例： 使用Spark實現(xiàn)數(shù)據(jù)統(tǒng)計分析及性能優(yōu)化

21.1系統(tǒng)架構(gòu)

21.1.1總體方案

21.1.2詳細設(shè)計

21.1.3優(yōu)化設(shè)計

21.2具體實現(xiàn)

21.2.1數(shù)據(jù)獲取

21.2.2數(shù)據(jù)可視化

21.3性能優(yōu)化

21.3.1讀取優(yōu)化

21.3.2查詢優(yōu)化

21.3.3Spark參數(shù)級優(yōu)化

第22章實驗： 基于OpenStack和Hadoop的大數(shù)據(jù)分析

22.1實驗一： OpenStack安裝準(zhǔn)備

22.2實驗二： OpenStack在線安裝

22.3實驗三： 初始化OpenStack中的環(huán)境

22.4實驗四： 搭建OpenStack中的虛擬機

22.5實驗五： 大數(shù)據(jù)分析案例

參考文獻