云計算與大數(shù)據(jù)技術(shù)應(yīng)用

目 錄
前言
第1章 云計算概述1
1.1 什么是云計算1
1.1.1 云計算的定義1
1.1.2 云計算的概念模型2
1.1.3 云計算的特點3
1.2 云計算技術(shù)發(fā)展背景3
1.3 典型的云計算基礎(chǔ)架構(gòu)7
1.4 云計算的主要服務(wù)模式9
1.4.1 基礎(chǔ)設(shè)施即服務(wù)IaaS9
1.4.2 平臺即服務(wù)PaaS10
1.4.3 軟件即服務(wù)SaaS11
1.4.4 三種服務(wù)模式之間的關(guān)系12
1.5 云計算的主要部署模式13
1.6 云計算是商業(yè)模式的創(chuàng)新14
1.7 典型的云計算產(chǎn)品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍(lán)云解決方案17
1.7.4 阿里云18
1.8 云計算技術(shù)的新發(fā)展20
1.9 我國的云計算產(chǎn)業(yè)現(xiàn)狀23
1.9.1 政府推動云計算產(chǎn)業(yè)發(fā)展23
1.9.2 我國云計算產(chǎn)業(yè)高速發(fā)展24
習(xí)題25
第2章 大數(shù)據(jù)技術(shù)概述26
2.1 大數(shù)據(jù)技術(shù)的產(chǎn)生26
2.1.1 大數(shù)據(jù)的基本概念26
2.1.2 大數(shù)據(jù)產(chǎn)生的原因26
2.1.3 大數(shù)據(jù)概念的提出28
2.1.4 第四范式——大數(shù)據(jù)對科學(xué)研究產(chǎn)生的影響30
2.1.5 云計算與大數(shù)據(jù)的關(guān)系31
2.2 大數(shù)據(jù)的4V特征31
2.3 大數(shù)據(jù)的主要應(yīng)用及行業(yè)推動力量32
2.3.1 大數(shù)據(jù)的主要應(yīng)用32
2.3.2 企業(yè)推動大數(shù)據(jù)行業(yè)發(fā)展32
2.3.3 我國政府推動大數(shù)據(jù)行業(yè)發(fā)展33
2.4 大數(shù)據(jù)的關(guān)鍵技術(shù)34
2.5 典型的大數(shù)據(jù)計算架構(gòu)35
習(xí)題35
第3章 虛擬化技術(shù)36
3.1 虛擬化技術(shù)簡介36
3.1.1 虛擬化技術(shù)的概念36
3.1.2 虛擬化技術(shù)的分類38
3.1.3 虛擬化技術(shù)的優(yōu)勢和劣勢42
3.1.4 虛擬化技術(shù)與云計算43
3.2 虛擬化技術(shù)原理43
3.2.1 虛擬機(jī)技術(shù)原理43
3.2.2 CPU虛擬化原理44
3.2.3 內(nèi)存虛擬化原理46
3.2.4 網(wǎng)絡(luò)虛擬化原理47
3.3 常見的虛擬化技術(shù)解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術(shù)的應(yīng)用實踐52
3.4.1 虛擬化環(huán)境的搭建53
3.4.2 克隆虛擬機(jī)54
3.4.3 虛擬機(jī)做快照56
習(xí)題59
第4章 數(shù)據(jù)中心60
4.1 數(shù)據(jù)中心的概念60
4.1.1 數(shù)據(jù)中心的定義、作用及分類60
4.1.2 數(shù)據(jù)中心的發(fā)展歷程61
4.1.3 數(shù)據(jù)中心的組成及建設(shè)原則65
4.1.4 云計算、大數(shù)據(jù)時代的數(shù)據(jù)中心發(fā)展趨勢66
4.2 數(shù)據(jù)中心的基本單元——服務(wù)器66
4.3 數(shù)據(jù)中心選址69
4.4 數(shù)據(jù)中心的能耗69
4.4.1 數(shù)據(jù)中心能耗評估70
4.4.2 數(shù)據(jù)中心的主要節(jié)能措施71
習(xí)題72
第5章 并行計算與集群技術(shù)73
5.1 并行計算概述73
5.1.1 并行計算的概念73
5.1.2 并行計算的層次75
5.1.3 并行計算機(jī)的發(fā)展75
5.1.4 并行計算與分布式計算77
5.1.5 并行計算與云計算78
5.2 云計算基礎(chǔ)架構(gòu)——集群技術(shù)79
5.2.1 集群的基本概念79
5.2.2 集群系統(tǒng)的分類80
5.2.3 集群文件系統(tǒng)80
5.3 并行計算的分類81
5.3.1 按Flynn分類81
5.3.2 按應(yīng)用的計算特征分類82
5.3.3 按結(jié)構(gòu)模型分類83
5.4 并行計算相關(guān)技術(shù)84
5.4.1 并行計算的關(guān)鍵技術(shù)84
5.4.2 并行計算的性能估算86
5.5 并行程序設(shè)計——MPI編程87
5.5.1 MPI簡介87
5.5.2 一個簡單的MPI程序?qū)崿F(xiàn)88
5.5.3 MPI消息90
5.5.4 MPI的消息傳遞過程90
5.5.5 MPI常用基本函數(shù)91
5.5.6 有消息傳遞的并行程序91
習(xí)題93
第6章 云存儲技術(shù)94
6.1 云存儲概述94
6.1.1 云存儲的概念94
6.1.2 云存儲系統(tǒng)的結(jié)構(gòu)95
6.1.3 云存儲的實現(xiàn)基礎(chǔ)96
6.1.4 云存儲的特性98
6.2 云存儲與云計算99
6.3 云存儲的應(yīng)用100
6.3.1 個人級云存儲的應(yīng)用100
6.3.2 企業(yè)級云存儲的應(yīng)用100
6.4 云存儲發(fā)展的關(guān)注點101
習(xí)題102
第7章　OpenStack——功能強(qiáng)大的IaaS平臺103
7.1 OpenStack架構(gòu)103
7.2 計算服務(wù)模塊Nova104
7.3 網(wǎng)絡(luò)服務(wù)模塊Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網(wǎng)絡(luò)109
7.4 塊存儲服務(wù)模塊Cinder110
7.5 對象存儲服務(wù)模塊Swift111
7.6 身份認(rèn)證模塊Keystone115
7.7 鏡像模塊Glance119
7.8 儀表盤服務(wù)模塊Horizon121
7.9 監(jiān)控計量服務(wù)模塊Ceilometer122
習(xí)題123
第8章 Hadoop——分布式大數(shù)據(jù)開發(fā)平臺124
8.1 Hadoop簡介124
8.1.1 Hadoop與分布式開發(fā)技術(shù)124
8.1.2 Hadoop的體系架構(gòu)125
8.1.3 Hadoop集群的架構(gòu)127
8.2 分布式文件系統(tǒng)HDFS129
8.2.1 分布式文件系統(tǒng)概述129
8.2.2 HDFS的架構(gòu)及讀寫流程131
8.3 分布式計算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數(shù)據(jù)流135
8.3.3 MapReduce任務(wù)運(yùn)行流程136
8.4 列式數(shù)據(jù)庫HBase138
8.4.1 HBase列數(shù)據(jù)庫介紹139
8.4.2 理解HBase的表結(jié)構(gòu)139
8.5 搭建Hadoop開發(fā)環(huán)境142
8.5.1 相關(guān)準(zhǔn)備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop并配置Hadoop環(huán)境變量144
8.5.4 修改Hadoop配置文件145
8.5.5 將配置好的Hadoop文件復(fù)制到其他結(jié)點并格式化146
8.5.6 啟動、停止Hadoop146
8.5.7 運(yùn)行測試程序WordCount147
習(xí)題148
第9章 Spark—基于內(nèi)存的大數(shù)據(jù)計算框架149
9.1 Spark概述149
9.2 Spark的運(yùn)行機(jī)制150
9.3 Spark的運(yùn)行模式152
9.3.1 Stan