并行程序設(shè)計：概念與實踐

譯者序
前言
致謝
第1章　緒論 1
11　一個有趣的例子及其分析 2
12　并行計算基礎(chǔ) 10
121　分布式內(nèi)存系統(tǒng) 10
122　共享內(nèi)存系統(tǒng) 11
123　并行程序設(shè)計需考慮的因素 13
13　HPC動態(tài)和排名 15
14　附加練習(xí) 17
第2章　理論背景 19
21　PRAM 20
211　PRAM變體 21
212　PRAM上的并行前綴計算 22
213　PRAM上稀疏數(shù)組的壓縮算法 24
22　網(wǎng)絡(luò)拓撲 25
23　Amdahl定律和Gustafson定律 29
24　Foster的并行算法設(shè)計方法學(xué) 34
25　附加練習(xí) 37
參考文獻 40
第3章　現(xiàn)代體系結(jié)構(gòu) 41
31　存儲層次 42
311　馮·諾依曼瓶頸 42
312　高速緩沖存儲器 43
313　緩存算法 44
314　優(yōu)化緩存訪問 45
315　高速緩存一致性 48
316　虛假共享 50
317　并發(fā)多線程技術(shù)和預(yù)取技術(shù) 50
318　展望 51
32　并行性的層次 51
321　Flynn分類法 51
322　SIMD概念 53
323　通用微處理器上的向量化 54
324　結(jié)構(gòu)體數(shù)組和數(shù)組結(jié)構(gòu)體 57
325　展望 63
33　附加練習(xí) 63
參考文獻 67
第4章　C++多線程編程 68
41　多線程編程簡介 69
411　多線程編程和多進程編程的區(qū)別 69
412　派生和并入線程 69
413　我們的第一個多線程程序 71
42　處理返回值 73
421　傳統(tǒng)方法 74
422　使用promise和future的現(xiàn)代方法 75
423　異步方式 80
43　基于靜態(tài)分發(fā)的調(diào)度機制 82
431　串行程序 83
432　線程的區(qū)塊分發(fā) 87
433　線程的循環(huán)分發(fā) 90
434　虛假共享 91
435　線程的塊循環(huán)分發(fā) 93
44　處理負載不平衡 95
441　靜態(tài)調(diào)度 99
442　動態(tài)塊循環(huán)分發(fā) 101
45　用條件變量通知線程 104
451　為一個睡覺的學(xué)生建模 105
452　使用條件變量 107
453　使用future和promise單發(fā)同步 108
46　隱式可數(shù)集合上的并行化 110
461　隱式可數(shù)集合 111
462　線程池用例 112
463　一個簡單線程池的實現(xiàn) 114
47　附加練習(xí) 119
參考文獻 121
第5章　高級C++11多線程編程 122
51　無鎖編程 122
511　原子計數(shù) 123
512　非基本原子數(shù)據(jù)類型 124
513　利用比較交換以原子方式并行化最大值歸約 126
514　任意原子操作 129
515　ABA問題 132
52　工作共享線程池 133
521　工作共享線程池的用例 133
522　工作共享的實現(xiàn) 135
53　并行圖搜索 137
531　二元背包問題 138
532　串行實現(xiàn) 139
533　并行實現(xiàn) 144
54　展望 146
55　附加練習(xí) 148
參考文獻 149
第6章　OpenMP 150
61　OpenMP簡介 151
611　OpenMP簡史 151
612　基礎(chǔ) 151
62　parallel for制導(dǎo)語句 153
621　向量加法 154
622　變量共享和私有化 157
623　矩陣向量乘法 160
63　基本的并行歸約 162
631　最近鄰分類 162
632　手寫數(shù)字數(shù)據(jù)集MNIST 163
633　完全配對距離計算的理論視角 164
634　完全配對計算的實現(xiàn) 165
635　并行標簽預(yù)測 168
636　性能評測 169
64　不平衡循環(huán)調(diào)度 171
641　對稱性引起的負載失衡 172
642　內(nèi)積計算實現(xiàn) 173
643　性能評測 174
65　高級歸約 175
651　MNIST數(shù)據(jù)集上的SOFTMAX回歸分類器 175
652　定制歸約操作符 183
653　OpenMP高級歸約 187
66　任務(wù)并行 189
661　樹遍歷 190
662　循環(huán)中生成任務(wù) 193
67　SIMD向量化 193
671　數(shù)據(jù)依賴 195
672　向量化感知函數(shù) 196
68　展望 196
69　附加練習(xí) 197
參考文獻 202
第7章　統(tǒng)一計算設(shè)備架構(gòu) 203
71　CUDA簡介 204
72　支持CUDA的GPU硬件架構(gòu) 206
721　主機與設(shè)備之間的互連 206
722　顯存和峰值寬度 207
723　計算資源的組織 207
73　內(nèi)存訪問模式 211
731　均值名人臉的計算 212
732　計算中心化的數(shù)據(jù)矩陣 218
733　計算協(xié)方差矩陣 221
734　計算特征臉 229
74　內(nèi)存層次結(jié)構(gòu) 232
741　問題簡介 233
742　串行DTW的線性內(nèi)存算法 237
743　線性內(nèi)存DTW的一個初始CUDA移植 243
744　共享內(nèi)存中的波前松弛 248
745　并發(fā)調(diào)度和bank沖突 253
746　紋理內(nèi)存和常量內(nèi)存 254
75　優(yōu)化準則 257
76　附加練習(xí) 258
參考文獻 259
第8章　高級CUDA編程 261
81　warp內(nèi)聯(lián)函數(shù)和原子操作 261
811　分段并行歸約 262
812　全局并行歸約 265
813　任意原子操作 267
814　展望 269
82　利用多塊GPU和流 269
821　牛頓迭代 269
822　利用多塊GPU 272
823　通信和計算交叉 274
824　多塊GPU上的流式計算 278
83　展望 280
831　統(tǒng)一內(nèi)存 280
832　動態(tài)并行性 281
833　協(xié)作組 281
834　張量核心 281
835　GPU集群上的分布式計算 282
84　附加練習(xí) 282
參考文獻 284
第9章　MPI 286
91　MPI簡介 286
92　基本概念 288
93　點到點通信 289
94　非阻塞通信 292
9