超級計算機原理與實踐

目錄
**部分 超級計算機的基礎(chǔ)知識
第1章 超級計算機入門 1
1.1 超級計算機簡介 1
1.2 超級計算機的性能指標(biāo) 5
1.2.1 基本性能指標(biāo) 5
1.2.2 可擴展性 6
1.2.3 峰值性能與持續(xù)性能 7
1.2.4 其他性能指標(biāo) 8
1.3 超級計算機的基準(zhǔn)評測集 8
1.3.1 計算性能評測集 9
1.3.2 I/O 性能評測集 15
1.3.3 網(wǎng)絡(luò)性能評測集 17
1.3.4 應(yīng)用評測集 18
1.4 超級計算機的發(fā)展歷程 19
1.4.1 “初生”時代 19
1.4.2 “克雷”時代 19
1.4.3 “多核”時代 20
1.4.4 “異構(gòu)”時代 21
1.4.5 國產(chǎn)超級計算機的發(fā)展歷程 21
1.5 超級計算機的應(yīng)用領(lǐng)域 22
1.6 本章小結(jié) 23
課后習(xí)題 23
第2章 超級計算機硬件與體系結(jié)構(gòu) 24
2.1 超級計算機硬件 24
2.1.1 計算陣列 25
2.1.2 存儲陣列 26
2.1.3 服務(wù)陣列 26
2.1.4 互連通信子系統(tǒng) 27
2.1.5 監(jiān)控診斷子系統(tǒng) 28
2.2 超級計算機體系結(jié)構(gòu) 28
2.2.1 Flynn 分類法 28
2.2.2 典型超級計算機體系結(jié)構(gòu)分類 29
2.3 本章小結(jié) 41
課后習(xí)題 42
第二部分 超級計算機的系統(tǒng)軟件
第3章 超算調(diào)度系統(tǒng) 43
3.1 超算調(diào)度系統(tǒng)的發(fā)展歷史 43
3.2 超算調(diào)度系統(tǒng)功能模型 45
3.3 典型超算調(diào)度系統(tǒng) 46
3.3.1 LSF 46
3.3.2 Slurm 52
3.4 本章小結(jié) 58
課后習(xí)題 58
第4章 超算存儲與文件系統(tǒng) 59
4.1 超算系統(tǒng)典型存儲結(jié)構(gòu) 59
4.2 并行文件系統(tǒng) 60
4.2.1 文件訪問接口 60
4.2.2 并行文件系統(tǒng)關(guān)鍵技術(shù) 62
4.2.3 Lustre 文件系統(tǒng) 64
4.2.4 BeeGFS 介紹 68
4.3 I/O 中間件 71
4.3.1 MPI I/O 72
4.3.2 PLFS 73
4.3.3 其他 74
4.4 本章小結(jié) 75
課后習(xí)題 75
第三部分 面向超級計算機的并行編程
第5章 并行編程基礎(chǔ) 77
5.1 并行編程模型 77
5.1.1 共享內(nèi)存編程模型 77
5.1.2 消息傳遞編程模型 78
5.1.3 數(shù)據(jù)并行編程模型 80
5.1.4 混合并行編程模型 81
5.1.5 隱式并行編程模型 82
5.2 并行程序執(zhí)行模式 82
5.2.1 主從模式 82
5.2.2 SPMD 模式 82
5.2.3 MPMD 模式 83
5.3 并行程序設(shè)計的方法論 83
5.3.1 Foster 方法論簡介 83
5.3.2 并行算法 85
5.4 本章小結(jié) 88
課后習(xí)題 88
第6章 傳統(tǒng)并行編程 90
6.1 MPI 編程 90
6.1.1 MPI 基本概念 90
6.1.2 MPI 通信模式 93
6.2 Pthreads 編程 97
6.2.1 線程管理 98
6.2.2 線程同步 100
6.3 OpenMP 編程 108
6.3.1 編譯器指令 108
6.3.2 并行結(jié)構(gòu)與常用指令 108
6.3.3 數(shù)據(jù)范圍屬性子句 114
6.3.4 運行時庫函數(shù)和環(huán)境變量 115
6.4 混合并行編程 115
6.4.1 混合并行編程的基本思想 116
6.4.2 混合并行編程方法 116
6.4.3 混合并行編程實例 120
6.5 本章小結(jié) 121
課后習(xí)題 121
第7章 異構(gòu)并行編程 123
7.1 CUDA 編程 123
7.1.1 CUDA 編程模型 125
7.1.2 CUDA 執(zhí)行模型 135
7.1.3 CUDA 函數(shù)庫 137
7.2 OpenCL 編程 138
7.2.1 OpenCL 平臺模型 138
7.2.2 OpenCL 編程模型 139
7.2.3 OpenCL 執(zhí)行模型 139
7.2.4 OpenCL 內(nèi)存模型 140
7.2.5 OpenCL 編程實例 141
7.3 本章小結(jié) 145
課后習(xí)題 146
第四部分 典型并行應(yīng)用案例與應(yīng)用軟件介紹
第8章 典型并行應(yīng)用案例 147
8.1 通用矩陣乘法并行化 147
8.1.1 基于 OpenMP 并行化實現(xiàn) 147
8.1.2 基于 Pthreads 并行化實現(xiàn) 148
8.1.3 基于 MPI 并行化實現(xiàn) 149
8.2 **排序算法并行化 152
8.2.1 奇偶排序并行化：消除數(shù)據(jù)相關(guān)性 152
8.2.2 二路歸并排序并行化 154
8.3 生產(chǎn)者消費者問題并行化 155
8.4 分布式機器學(xué)習(xí)并行化 159
8.4.1 單機計算與并行模式 159
8.4.2 任務(wù)劃分與聚合 161
8.4.3 分布式架構(gòu)與網(wǎng)絡(luò)通信 164
8.5 本章小結(jié) 167
課后習(xí)題 167
第9章 超算基礎(chǔ)軟件庫和應(yīng)用開發(fā)框架 168
9.1 超算基礎(chǔ)軟件庫 168
9.1.1 ScaLAPACK 168
9.1.2 Trilinos 170
9.1.3 TAO 177
9.1.4 HPCToolkit 178
9.1.5 ADIOS 181
9.1.6 Kokkos 182
9.1.7 VTK-m 184
9.2 超算應(yīng)用開發(fā)框架 185
9.2.1 VASP 185
9.2.2 Gaussian 187
9.2.3 Fluent 190
9.2.4 OpenFOAM 192
9.2.5 GROMACS 196
9.2.6 NAMD 197
9.2.7 MATLAB 198
9.2.8 MOOSE 200
9.3 本章小結(jié) 203
課后習(xí)題 204
參考文獻(xiàn) 205