高性能計算系統(tǒng)與大數(shù)據(jù)分析

譯者序

序

前言

第1章　IT領(lǐng)域的變革以及未來趨勢1

1.1　引言1

1.2　新興的IT趨勢1

1.3　數(shù)字化實體的實現(xiàn)與發(fā)展4

1.4　物聯(lián)網(wǎng)/萬物互聯(lián)5

1.5　對社交媒體網(wǎng)站的廣泛采用7

1.6　預(yù)測性、規(guī)范性、個性化分析時代7

1.7　用于大數(shù)據(jù)及分析的Apache Hadoop11

1.8　大數(shù)據(jù)、大洞見、大動作13

1.9　結(jié)論15

1.10　習(xí)題15

第2章　大數(shù)據(jù)/快速數(shù)據(jù)分析中的高性能技術(shù)16

2.1　引言16

2.2　大數(shù)據(jù)分析學(xué)科的出現(xiàn)17

2.3　大數(shù)據(jù)的戰(zhàn)略意義18

2.4　大數(shù)據(jù)分析的挑戰(zhàn)19

2.5　高性能計算范型19

2.6　通過并行實現(xiàn)高性能的方法21

2.7　集群計算22

2.8　網(wǎng)格計算24

2.9　云計算27

2.10　異構(gòu)計算29

2.11　用于高性能計算的大型機31

2.12　用于大數(shù)據(jù)分析的超級計算32

2.13　用于大數(shù)據(jù)分析的設(shè)備32

2.13.1　用于大規(guī)模數(shù)據(jù)分析的數(shù)據(jù)倉庫設(shè)備33

2.13.2　in-memory大數(shù)據(jù)分析35

2.13.3　大數(shù)據(jù)的in-database處理37

2.13.4　基于Hadoop的大數(shù)據(jù)設(shè)備38

2.13.5　高性能大數(shù)據(jù)存儲設(shè)備41

2.14　結(jié)論42

2.15　習(xí)題42

參考文獻43

第3章　大數(shù)據(jù)與快速數(shù)據(jù)分析對高性能計算的渴望44

3.1　引言44

3.2　重新審視大數(shù)據(jù)分析范型45

3.3　大數(shù)據(jù)和快速數(shù)據(jù)的含義47

3.4　用于精確、預(yù)測性、規(guī)范性洞見的新興數(shù)據(jù)源48

3.5　大數(shù)據(jù)分析為何不俗50

3.6　傳統(tǒng)的和新一代的數(shù)據(jù)分析案例研究51

3.7　為何采用基于云的大數(shù)據(jù)分析55

3.8　大數(shù)據(jù)分析：主要處理步驟57

3.9　實時分析58

3.10　流分析62

3.11　傳感器分析63

3.11.1　大數(shù)據(jù)分析與高性能計算的同步：附加價值63

3.12　結(jié)論64

3.13　習(xí)題64

第4章　高性能大數(shù)據(jù)分析的網(wǎng)絡(luò)基礎(chǔ)設(shè)施65

4.1　引言65

4.2　當前網(wǎng)絡(luò)基礎(chǔ)設(shè)施的局限66

4.3　高性能大數(shù)據(jù)分析網(wǎng)絡(luò)基礎(chǔ)設(shè)施的設(shè)計方法68

4.3.1　網(wǎng)絡(luò)虛擬化68

4.3.2　軟件定義網(wǎng)絡(luò)76

4.3.3　網(wǎng)絡(luò)功能虛擬化78

4.4　用于傳輸大數(shù)據(jù)的廣域網(wǎng)優(yōu)化79

4.5　結(jié)論81

4.6　習(xí)題81

參考文獻81

第5章　高性能大數(shù)據(jù)分析的存儲基礎(chǔ)設(shè)施82

5.1　引言82

5.2　直連式存儲83

5.2.1　DAS的缺點84

5.3　存儲區(qū)域網(wǎng)絡(luò)85

5.3.1　塊級訪問85

5.3.2　文件級訪問85

5.3.3　對象級訪問85

5.4　保存大數(shù)據(jù)的存儲基礎(chǔ)設(shè)施需求86

5.5　光纖通道存儲區(qū)域網(wǎng)絡(luò)87

5.6　互聯(lián)網(wǎng)協(xié)議存儲區(qū)域網(wǎng)絡(luò)88

5.6.1　以太網(wǎng)光纖通道88

5.7　網(wǎng)絡(luò)附屬存儲89

5.8　用于高性能大數(shù)據(jù)分析的流行文件系統(tǒng)89

5.8.1　Google文件系統(tǒng)89

5.8.2　Hadoop分布式文件系統(tǒng)91

5.8.3　Panasas92

5.8.4　Luster文件系統(tǒng)94

5.9　云存儲簡介96

5.9.1　云存儲系統(tǒng)的架構(gòu)模型96

5.9.2　存儲虛擬化98

5.9.3　云存儲中使用的存儲優(yōu)化技術(shù)100

5.9.4　云存儲的優(yōu)點101

5.10　結(jié)論101

5.11　習(xí)題101

參考文獻102

進一步閱讀102

第6章　使用高性能計算進行實時分析103

6.1　引言103

6.2　支持實時分析的技術(shù)103

6.2.1　in-memory處理103

6.2.2　in-database分析105

6.3　大規(guī)模在線分析106

6.4　通用并行文件系統(tǒng)107

6.4.1　GPFS用例107

6.5　GPFS客戶案例研究111

6.5.1　廣播公司：VRT111

6.5.2　石油公司從Lustre遷移到GPFS113

6.6　GPFS：關(guān)鍵的區(qū)別113

6.6.1　基于GPFS的解決方案114

6.7　機器數(shù)據(jù)分析114

6.7.1　Splunk114

6.8　運營分析115

6.8.1　運營分析中的技術(shù)115

6.8.2　用例以及運營分析產(chǎn)品116

6.8.3　其他IBM運營分析產(chǎn)品117

6.9　結(jié)論117

6.10　習(xí)題118

第7章　高性能計算范型119

7.1　引言119

7.2　為何還需要大型機119

7.3　大型機中HPC是如何演化的120

7.3.1　成本：HPC的一個重要因素120

7.3.2　云計算中的集中式HPC120

7.3.3　集中式HPC的要求121

7.4　HPC遠程模擬121

7.5　使用HPC的大型機解決方案121

7.5.1　智能大型機網(wǎng)格121

7.5.2　IMG的工作原理122

7.5.3　IMG架構(gòu)122

7.6　架構(gòu)模型125

7.6.1　具有共享磁盤的存儲服務(wù)器125

7.6.2　沒有共享磁盤的存儲服務(wù)器125

7.6.3　無存儲服務(wù)器的通信網(wǎng)絡(luò)125

7.7　對稱多處理126

7.7.1　什么是SMP126

7.7.2　SMP與集群方法126

7.7.3　SMP是否真的重要126

7.7.4　線程模型127

7.7.5　NumaConnect技術(shù)127

7.8　用于HPC的虛擬化127

7.9　大型機方面的創(chuàng)新127

7.10　FICON大型機接口128

7.11　大型機對手機的支持129

7.12　Windows高性能計算129

7.13　結(jié)論130

7.14　習(xí)題131

第8章　in-database處理與in-memory分析132

8.1　引言132

8.1.1　分析工作負載與事務(wù)工作負載的對比132

8.1.2　分析工作負載的演化133

8.1.3　傳統(tǒng)分析平臺135

8.2　in-database分析135

8.2.1　架構(gòu)137

8.2.2　優(yōu)點和局限138

8.2.3　代表性的系統(tǒng)138

8.3　in-memory分析140

8.3.1　架構(gòu)141

8.3.2　優(yōu)點和局限142

8.3.3　代表性的系統(tǒng)142

8.4　分析設(shè)備145

8.4.1　Oracle Exalytics145

8.4.2　IBM Netezza145

8.5　結(jié)論147

8.6　習(xí)題147

參考文獻148

進一步閱讀148

第9章　大數(shù)據(jù)/快速數(shù)據(jù)分析中的高性能集成系統(tǒng)、數(shù)據(jù)庫和數(shù)據(jù)倉庫149

9.1　引言149

9.2　下一代IT基礎(chǔ)設(shè)施和平臺的關(guān)鍵特征150
......