Spark編程基礎(chǔ)

第1章　大數(shù)據(jù)技術(shù)概述　1

1.1　大數(shù)據(jù)的概念與關(guān)鍵技術(shù)　2

1.1.1　大數(shù)據(jù)的概念　2

1.1.2　大數(shù)據(jù)關(guān)鍵技術(shù)　2

1.2　代表性大數(shù)據(jù)技術(shù)　4

1.2.1　Hadoop　4

1.2.2　Spark　8

1.2.3　Flink　10

1.2.4　Beam　11

1.3　編程語(yǔ)言的選擇　12

1.4　在線資源　13

1.5　本章小結(jié)　14

1.6　習(xí)題　14

實(shí)驗(yàn)1　Linux系統(tǒng)的安裝和常用命令　15

一、實(shí)驗(yàn)?zāi)康摹?5

二、實(shí)驗(yàn)平臺(tái)　15

三、實(shí)驗(yàn)內(nèi)容和要求　15

四、實(shí)驗(yàn)報(bào)告　16

第2章　Spark的設(shè)計(jì)與運(yùn)行原理　17

2.1　概述　18

2.2　Spark生態(tài)系統(tǒng)　19

2.3　Spark運(yùn)行架構(gòu)　20

2.3.1　基本概念　20

2.3.2　架構(gòu)設(shè)計(jì)　21

2.3.3　Spark運(yùn)行基本流程　22

2.3.4　RDD的設(shè)計(jì)與運(yùn)行原理　23

2.4　Spark的部署方式　32

2.5　本章小結(jié)　33

2.6　習(xí)題　34

第3章　Spark環(huán)境搭建和使用方法　35

3.1　安裝Spark　36

3.1.1　基礎(chǔ)環(huán)境　36

3.1.2　下載安裝文件　36

3.1.3　配置相關(guān)文件　37

3.1.4　Spark和Hadoop的交互　38

3.2　在spark-shell中運(yùn)行代碼　38

3.2.1　spark-shell命令　39

3.2.2　啟動(dòng)spark-shell　40

3.3　開(kāi)發(fā)Spark獨(dú)立應(yīng)用程序　40

3.3.1　安裝編譯打包工具　41

3.3.2　編寫(xiě)Spark應(yīng)用程序代碼　42

3.3.3　編譯打包　42

3.3.4　通過(guò)spark-submit運(yùn)行程序　45

3.4　Spark集群環(huán)境搭建　45

3.4.1　集群概況　46

3.4.2　搭建Hadoop集群　46

3.4.3　在集群中安裝Spark　47

3.4.4　配置環(huán)境變量　47

3.4.5　Spark的配置　47

3.4.6　啟動(dòng)Spark集群　48

3.4.7　關(guān)閉Spark集群　48

3.5　在集群上運(yùn)行Spark應(yīng)用程序　49

3.5.1　啟動(dòng)Spark集群　49

3.5.2　采用獨(dú)立集群管理器　49

3.5.3　采用Hadoop YARN管理器　50

3.6　本章小結(jié)　51

3.7　習(xí)題　52

實(shí)驗(yàn)2　Spark和Hadoop的安裝　52

一、實(shí)驗(yàn)?zāi)康摹?2

二、實(shí)驗(yàn)平臺(tái)　52

三、實(shí)驗(yàn)內(nèi)容和要求　52

四、實(shí)驗(yàn)報(bào)告　53

第4章　RDD編程　54

4.1　RDD編程基礎(chǔ)　55

4.1.1　RDD創(chuàng)建　55

4.1.2　RDD操作　56

4.1.3　持久化　62

4.1.4　分區(qū)　63

4.1.5　一個(gè)綜合實(shí)例　67

4.2　鍵值對(duì)RDD　69

4.2.1　鍵值對(duì)RDD的創(chuàng)建　69

4.2.2　常用的鍵值對(duì)轉(zhuǎn)換操作　70

4.2.3　一個(gè)綜合實(shí)例　74

4.3　數(shù)據(jù)讀寫(xiě)　75

4.3.1　文件數(shù)據(jù)讀寫(xiě)　76

4.3.2　讀寫(xiě)HBase數(shù)據(jù)　78

4.4　綜合實(shí)例　82

4.4.1　求TOP值　82

4.4.2　文件排序　84

4.4.3　二次排序　85

4.5　本章小結(jié)　87

實(shí)驗(yàn)3　RDD編程初級(jí)實(shí)踐　87

一、實(shí)驗(yàn)?zāi)康摹?7

二、實(shí)驗(yàn)平臺(tái)　87

三、實(shí)驗(yàn)內(nèi)容和要求　87

四、實(shí)驗(yàn)報(bào)告　89

第5章　Spark SQL　90

5.1　Spark SQL簡(jiǎn)介　91

5.1.1　從Shark說(shuō)起　91

5.1.2　Spark SQL架構(gòu)　92

5.1.3　為什么推出Spark SQL　93

5.2　DataFrame概述　93

5.3　DataFrame的創(chuàng)建　94

5.4　DataFrame的保存　95

5.5　DataFrame的常用操作　96

5.6　從RDD轉(zhuǎn)換得到DataFrame　97

5.6.1　利用反射機(jī)制推斷RDD模式　98

5.6.2　使用編程方式定義RDD模式　99

5.7　使用Spark SQL讀寫(xiě)數(shù)據(jù)庫(kù)　101

5.7.1　通過(guò)JDBC連接數(shù)據(jù)庫(kù)　101

5.7.2　連接Hive讀寫(xiě)數(shù)據(jù)　103

5.8　本章小結(jié)　107

5.9　習(xí)題　107

實(shí)驗(yàn)4　Spark SQL編程初級(jí)實(shí)踐　108

一、實(shí)驗(yàn)?zāi)康摹?08

二、實(shí)驗(yàn)平臺(tái)　108

三、實(shí)驗(yàn)內(nèi)容和要求　108

四、實(shí)驗(yàn)報(bào)告　109

第6章　Spark Streaming　110

6.1　流計(jì)算概述　111

6.1.1　靜態(tài)數(shù)據(jù)和流數(shù)據(jù)　111

6.1.2　批量計(jì)算和實(shí)時(shí)計(jì)算　112

6.1.3　流計(jì)算概念　112

6.1.4　流計(jì)算框架　113

6.1.5　流計(jì)算處理流程　114

6.2　Spark Streaming　115

6.2.1　Spark Streaming設(shè)計(jì)　115

6.2.2　Spark Streaming與Storm的對(duì)比　116

6.2.3　從“Hadoop+Storm”架構(gòu)轉(zhuǎn)向Spark架構(gòu)　117

6.3　DStream操作概述　118

6.3.1　Spark Streaming工作機(jī)制　118

6.3.2　編寫(xiě)Spark Streaming程序的基本步驟　119

6.3.3　創(chuàng)建StreamingContext對(duì)象　119

6.4　基本輸入源　120

6.4.1　文件流　120

6.4.2　套接字流　122

6.4.3　RDD隊(duì)列流　127

6.5　高級(jí)數(shù)據(jù)源　128

6.5.1　Kafka簡(jiǎn)介　129

6.5.2　Kafka準(zhǔn)備工作　129

6.5.3　Spark準(zhǔn)備工作　130

6.5.4　編寫(xiě)Spark Streaming程序使用Kafka數(shù)據(jù)源　131

6.6　轉(zhuǎn)換操作　135

6.6.1　DStream無(wú)狀態(tài)轉(zhuǎn)換操作　135

6.6.2　DStream有狀態(tài)轉(zhuǎn)換操作　136

6.7　輸出操作　140

6.7.1　把DStream輸出到文本文件中　140

6.7.2　把DStream寫(xiě)入到關(guān)系數(shù)據(jù)庫(kù)中　141

6.8　本章小結(jié)　143

6.9　習(xí)題　143

實(shí)驗(yàn)5　Spark Streaming編程初級(jí)實(shí)踐　144

一、實(shí)驗(yàn)?zāi)康摹?44

二、實(shí)驗(yàn)平臺(tái)　144

三、實(shí)驗(yàn)內(nèi)容和要求　144

四、實(shí)驗(yàn)報(bào)告　145

第7章　Spark Mllib　146

7.1　基于大數(shù)據(jù)的機(jī)器學(xué)習(xí)　147

7.2　機(jī)器學(xué)習(xí)庫(kù)MLlib概述　148

7.3　基本數(shù)據(jù)類(lèi)型　149

7.3.1　本地向量　149

7.3.2　標(biāo)注點(diǎn)　149

7.3.3　本地矩陣　150

7.4　機(jī)器學(xué)習(xí)流水線　151

7.4.1　流水線的概念　151

7.4.2　流水線工作過(guò)程　152

7.5　特征提取、轉(zhuǎn)換和選擇　153

7.5.1　特征提取　154

7.5.2　特征轉(zhuǎn)換　156

7.5.3　特征選擇　161

7.5.4　局部敏感哈?！?62

7.6　分類(lèi)算法　163

7.6.1　邏輯斯蒂回歸分類(lèi)器　163

7.6.2　決策樹(shù)分類(lèi)器　167

7.7　聚類(lèi)算法　170

7.7.1　K-Means聚類(lèi)算法　171

7.7.2　GMM聚類(lèi)算法　173

7.8　協(xié)同過(guò)濾算法　175

7.8.1　推薦算法的原理　176

7.8.2　ALS算法　176

7.9　模型選擇和超參數(shù)調(diào)整　180

7.9.1　模型選擇工具　180

7.9.2　用交叉驗(yàn)證選擇模型　181

7.10　本章小結(jié)　183

7.11　習(xí)題　183

實(shí)驗(yàn)6　Spark機(jī)器學(xué)習(xí)庫(kù)MLlib編程實(shí)踐　184

一、實(shí)驗(yàn)?zāi)康摹?84

二、實(shí)驗(yàn)平臺(tái)　184

三、實(shí)驗(yàn)內(nèi)容和要求　184

四、實(shí)驗(yàn)報(bào)告　185

參考文獻(xiàn)　186