并行計算綜論

　　內容簡介目錄這是一本全面介紹近年來并行計算研究進展的著作，主要按照并行性、并行應用、軟件技術以及關鍵技術和算法等方面展開討論。關于并行性，主要概述了并行計算的各個方面并介紹其所依賴的軟、硬件平臺；關于并行應用，主要介紹了并行計算在計算流體力學、環(huán)境與能源、計算化學，以及其他十幾個典型數(shù)值和非數(shù)值計算領域中的應用；關于軟件技術，主要介紹了并行計算的軟件基礎，包括消息傳遞和線程、并行I/O、編程語言與編譯器、面向對象的并行庫、問題求解環(huán)境、性能調整與程序調試工具等；關于關鍵技術和算法，主要介紹了在大量應用領域廣泛使用的并行計算技術和并行算法，包括可重用軟件與算法、高性能科學模擬中的圖剖分問題、網(wǎng)格剖分、模板與數(shù)值線性代數(shù)、PDE可擴展求解軟件、并行連續(xù)優(yōu)化、科學計算路徑追蹤和自動微分等。本書還列出了近年來與并行計算相關的上千篇參考文獻。本書是一本綜合性很強的并行計算專著，可供對并行計算感興趣的高等院校、研究所、工業(yè)和商業(yè)部門等各應用領域的研究和工程技術人員參考。并行計算具有將計算能力從單個處理機無縫地擴展到無窮多個處理機的潛力。然而，應用程序的性能仍無法與并行機的峰值性能相匹配，并行機上的編程任務仍然相當繁重，而且在編程時還需要盡可能挖掘應用程序的并行性。當前，在并行機上獲取高可擴展并行性的諸多工作仍然是由應田開發(fā)人員承擔的?！恫⑿杏嬎憔C論》-書收集了60多位從事并行計算的杰出研究人員的知識和經驗，主要按照并行性、并行應用、軟件技術，以及關鍵技術和算法等方面展開討論，為相關領域的學生、科學家和工程師們提供了一本內容豐富的讀本。本書主要特點·由研究并行工具、語言、技術等領域的專家編寫?！y試可用的并行技術并指導學生和技術人員如何選擇和獲取實用的技術?！ぬ峁┒鄠€應用領域中的實例，其中包括化學、圖像處理、數(shù)據(jù)挖掘、海洋模擬和地震模擬等。·探討了并行計算技術未來發(fā)展方向及其所能支持的應用類型。譯者序 10多年前， 在大規(guī)模并行計算機， 尤其是分布式存儲并行計算機上， 如何開發(fā)高效可移植的并行算法和并行應用程序， 曾經是困擾科學與工程計算應用部門的一個最大難題， 也束縛了高性能并行計算在國內的普及推廣應用. 如今， 隨著高性能并行機的日益普及， 尤其是低價格高性能比的微機機群的推廣應用， 以及并行編程標準， 尤其是消息傳遞MPI和共享存儲OpenMP的統(tǒng)一， 高性能并行計算已經成為加速我國科學與工程應用數(shù)值模擬的一種關鍵支撐技術， 是從事科學與工程計算專業(yè)的研究人員或者學生想學習的一門基礎課程. 特別是近幾年以來， 我國在對計算需求較大的應用部門. 研究所和大學以及許多大城市中， 相繼成立了高性能計算中心， 配備了每秒峰值超過萬億次浮點運算， 包含上千個處理器的大規(guī)模高性能并行機. 國家863計劃也啟動了國家高性能計算網(wǎng)格環(huán)境， 希望共享各個高性能計算中心的資源， 加速提高我國的數(shù)值模擬水平. 應該說， 目前我國高性能并行計算硬件平臺已經比較先進， 開展高性能并行計算研究的條件已經非常成熟. 自從并行計算機在我國誕生并應用以來， 我國關鍵應用部門. 大學. 研究所和工業(yè)部門就已經對并行計算進行了長期的研究. 但是， 從總體水平上， 尤其是并行應用軟件的開發(fā)水平上， 我國還遠遠落后于美國等國家， 這一差距比計算機硬件落后的差距大得多. 如何在現(xiàn)有高性能并行計算機硬件平臺和軟件支撐環(huán)境上， 結合各個應用部門的具體應用和數(shù)值方法的特點， 通過移植. 改進和設計高效的并行算法， 將現(xiàn)有的大量應用程序移植到高性能可擴展并行機上運行， 甚至直接重新設計高效的并行應用軟件， 并開發(fā)相應的輔助軟件工具， 以簡化并行應用程序的開發(fā)， 縮短軟件開發(fā)周期， 提高軟件的計算效率， 將是從事并行科學與工程計算研究的人員必須面對的一個關鍵問題. 只有解決了這個問題， 才能真正用好大規(guī)模并行計算機， 縮短我國與國外的應用差距. 因此， 為了達到以上目的， 我們在做好并行計算的普及推廣工作的同時， 希望能盡快學習國外并行應用軟件開發(fā)的先進經驗， 加速提高我們的研制能力. 可喜的是， 該書全面總結了美國國家科學基金并行計算研究中心近10多年來在并行計算研究和并行應用程序開發(fā)方面所做的工作， 正好可用于填補我國在這方面的不足， 值得我們學習和借鑒. 該書是一本全面介紹近10多年來并行計算研究進展的著作， 內容涵蓋了高性能并行計算研究和應用的各個方面， 包括并行計算研究依賴的并行機硬件平臺. 并行應用開發(fā). 并行編程軟件技術. 并行計算關鍵技術和算法等. 該書的作者是多位長期從事高性能并行計算研究的國際知名并行計算專家， 其中包括Jack Dongarra， Ian Foster， Geoffrey Fox， William Gropp等， 他們長期領導著國際并行計算的前沿工作. 因此， 該書也是對他們多年來工作的一個系統(tǒng)總結， 是一本難得的既有學術水平， 又有實際應用價值的綜合性書籍. 同時， 該書也注意到它的參考價值， 列出了近年來涉及并行計算研究的上千篇文獻， 這對我們無疑是非常有用的. 鑒于以上原因， 我們組織了該書的翻譯工作. 為了保證該書的翻譯質量， 在莫則堯研究員的組織下， 具體分為3個小組， 分別由莫則堯研究員. 陳軍和曹小林副研究員負責. 其中， 陳軍負責第一部分和第二部分， 翻譯了第1章. 第3章. 第9章. 第10章. 第11章和第16章， 羅紅兵翻譯了第12章. 第13章和第14章， 張曉霞翻譯了第2章和第15章， 莫則堯負責第三部分， 翻譯了第8章（其中， 陳虹翻譯了8. 7節(jié)）， 張愛清翻譯了第4章. 第6章和第7章， 左風麗翻譯了第5章， 曹小林負責第四部分和第五部分， 翻譯了第X章到第25章， 廖麗翻譯了第17章. 第19章和第21章， 徐小文翻譯了第20章， 金光浩翻譯了第18章. 譯稿完成后， 為了確保翻譯質量， 我們首先在組內相互閱讀譯稿并校對， 然后在組間相互閱讀譯稿并校對， 接下來由莫則堯和陳軍閱讀全書譯稿， 以確保譯文前后的一致性， 最后由李曉梅教授負責審校全書譯稿. 感謝北京應用物理與計算數(shù)學研究所高性能計算中心提供的良好條件， 使本書的翻譯得以順利完成. 感謝北京應用物理與計算數(shù)學研究所張寶琳研究員和中科院計算數(shù)學研究所張林波研究員關于翻譯的一些有益討論. 由于譯者水平有限， 如果有不確切或錯誤之處， 望讀者不吝賜教.前言 并行計算研究中心（CRPC：Centerfor Researchon Parallel Computation）是美國國家科學基金（NSF：National Science Foundation）資助的科學和技術中心. 并行計算研究中心自成立以來， 一直致力于并行計算研究和技術開發(fā)， 并使并行計算"真正有用". 其間， 通過移植. 改進和設計新的高效算法， 已經將一大批現(xiàn)有應用程序移植到可擴展并行機上運行， 并開發(fā)了大量相應的輔助工具軟件. 所有這些工作源自CRPC內部和業(yè)界廣泛的應用需求. 盡管這些策略和工具已被并行應用專業(yè)開發(fā)人員所熟悉， 但據(jù)我們所知， 目前還沒有相關資料為新涉足該領域的人詳細介紹這些內容. 為此， 本書意圖填補這項空白， 將詳細介紹這些應用以及移植它們所使用的技術. 本書旨在幫助新涉足并行計算領域的人員盡快了解如何使用這些技術. 本書也適合從事計算科學的學生和研究人員了解與掌握高性能并行計算中的基礎理論和實際技能. 這里， 我們假設讀者已經較好地了解了應用科學或計算科學， 但缺少并行計算的基礎知識， 因此本書包括了大量教學資料. 同時， 我們希望本書成為從事并行應用程序開發(fā)的人員的一本實用參考書， 為此書中深入剖析了并行計算中有用的特殊技術和方法. 如果讀者希望粗略了解這些方法， 可以閱讀每個部分開頭的應用概述或技術概述章節(jié). 希望讀者能從我們過去15年的積累中獲取一些有用的經驗， 避免再犯與我們在獲取這些經驗時所犯的同樣錯誤. 本書的內容 本書由五個部分組成. 第一部分并行性 這個部分介紹了并行計算及其所依賴的軟. 硬件環(huán)境. 其中， 分別概述了并行計算的各個方面， 深入闡述了現(xiàn)代并行機體系結構， 討論了并行編程必須考慮的一些問題. 第二部分并行應用 這個部分幫助初級開發(fā)人員理解如何將高性能計算應用到大量特定領域， 注重于如何選擇合適的軟件和算法及其具體實現(xiàn). 其中， 分別討論了計算流體力學. 環(huán)境與能源. 計算化學等領域的應用與實現(xiàn)， 并用單獨的一章（給出了11幅彩圖）介紹了并行計算在其他領域的成功應用. 這些內容涵蓋了廣泛的科學領域和數(shù)值方法. 后續(xù)章節(jié)將再次引用這些應用， 并將深入討論并行應用開發(fā)所需的軟件技術和算法. 第三部分各種軟件技術 這個部分介紹了并行應用開發(fā)過程中用到的一些軟件技術的進展， 包括消息傳遞庫. 用于并行計算的運行時庫（例如HPC++類庫， 類似HPF的語言， Co-ArrayFORTRAN， 和HPC++）. 類似poblo的性能分析與調整工具以及高級程序設計系統(tǒng)等. 這個部分的目的是為讀者選擇正確的并行計算技術提供指導信息. 第四部分關鍵技術與算法 這個部分討論了大量科學與工程應用問題數(shù)值模擬計算中廣泛使用的并行數(shù)值算法， 包括線性代數(shù). 連續(xù)和離散最優(yōu)化等. 其中， 每一章針對不同算法進行了深入討論， 主要為應用開發(fā)人員在尋求不同問題的最佳算法的過程中提供可用的資源. 第五部分結論 這個部分總結了上述內容， 并討論了高性能科學與工程計算業(yè)界將要面臨的重要問題， 包括網(wǎng)格環(huán)境下的分布式計算. 本書的使用方式 讀者可以從以下幾個方面來使用本書. 新涉足并行計算領域的人員可以先閱讀第一部分的所有章節(jié)， 然后閱讀第4章. 第9章. 第16章. 第17章和第25章. 第4章. 第9章和第17章分別概要介紹了第二部分. 第三部分和第四部分的內容， 為那些對其中某些內容感興趣的讀者指明了需要進一步閱讀的章節(jié). 如果讀者是特定領域的開發(fā)人員， 想了解對自己有所幫助的技術， 可以從第二部分開始閱讀. 這個部分介紹了大量的應用和并行技術. 如果讀者找到了與自己正在研究的領域相似的應用， 可以通過交叉參考第三部分和第四部分中的內容， 找到有用的策略和技術. 最后， 并行計算專家可以將本書作為參考文獻. 每個部分的引言為該部分的其他內容提供了指導信息. 本書也可以作為系統(tǒng)用戶的一本指南， 這些系統(tǒng)包括從小型桌面對稱多處理機和PC機群， 到價值上億美元甚至更昂貴的高端超級計算機. 本書主要介紹軟件技術以及使用這些技術的大規(guī)模應用程序. 在每個議題中， 首先一般性地討論了該領域的狀況， 然后詳細描述了其中的關鍵技術或方法. 在某些議題中， 例如消息傳遞編程， 直接采用消息傳遞界面來展開討論， 在其他議題中， 例如問題求解環(huán)境， 我們選擇了具有代表性的系統(tǒng)來闡述其中的概念. 致謝 本書汲取了自CRPC成立以來高性能并行計算界所取得的研究進展. CRPC是美國國家科學基金資助的科學和技術中心， 包括了萊斯大學， 加利福尼亞技術研究所， 美國Argonne國家實驗室， 美國Losalalnos國家實驗室， Syracuse大學， 田納西大學Knoxville分校和得克薩斯大學奧斯汀分校的相關人員. 美國國家科學基金的資助使本書得以問世. 本書中的研究工作得到了美國國家科學基金， 美國能源部， 美國國防部（特別是國防先進研究項目機構）和美國航空航天局的贊助， 另外還得到了CRPC所屬研究所. 每章作者所在的研究機構的贊助. 在美國國家科學基金資助結束后， 萊斯大學提供了基金資助， 這項基金用于為本書的完成償付技術支持費用. 我們也非常感謝那些幫助我們完成本書的人們. Teresa Parks利用他的編輯與技術技巧修正了原始手稿. Sarah Gonzales提供了技術支持以及出版用的圖形. Gail Pieper校對了其中一些章節(jié). 在我們使用LaTex的過程中得到Keith Cooper的指導和建議. Ellen Butler和Shil-iang Chang匯編了本書的目錄. Penny Anderson為本書的出版做了大量工作， 包括匯集作者的簡介， 并收集版權表格， 以及獲取關于使用帶版權資料的許可權. Ellen Butler， Kahryn O'Brien， Penny Anderson和Theresa Chatman組織了會議和遠程電信會議. 處理信件. 管理郵件列表， 并在別人需要幫助時慷慨相助. 我們非常感謝他們， 沒有他們的努力， 這本書將難以出版. 另外， 我們還要感謝Denise Penrose. 他是Morgan Kaufmann出版社專門負責本書的編輯， 他在手稿準備方面提出了有用的建議， 并為我們的手稿組織了單獨的評論文章， 這對我們非常有用. Emilia Thiuri為即將出版的最后手稿提供了編輯支持并提出了寶貴意見. 制作編輯Howard Severson使本書的出版得以緊湊地進行， 并在此期間始終保持其幽默的言談. 所有這些出版人員， 包括校對編輯Barbara Kohl和Carol Leyba， 索引編輯Steve Rath， 均為本書的高質量完成做出了貢獻. 我們也感謝那些為本書提供鮮亮外表的人們和工具：提供文字設計的DettaPenna，提供封面設計的FrancesBaca， 用于制作插圖的Dartmouth Publishing工具和用于排版的Windfall Software工具. 尤其感謝排版人員的努力， 將我們在后期所做的有關數(shù)字方面的改動修正到出版物中. 最后， 評論人員為本書提供了許多充滿智慧并且非常實用的評注， 這對本書的結構. 內容和質量都有著重要的影響. 對所有這些人以及每一章的作者， 我們表示衷心的感謝. 第一部分 并行性 第1章 引言 1.1 并行計算硬件 1.2 并行應用 1.3 軟件和算法 1.4 并行計算科學 第2章 并行機體系結構 2.1 單處理機體系結構 2.2 并行體系結構 2.3 并行體系結構的未來趨勢 2.4 小結 第3章 并行編程面臨的問題 3.1 體系結構 3.2 程序并行分解 3.3 并行性能優(yōu)化 3.4 存儲層次管理 3.5 并行調試 3.6 性能分析與調整 3.7 并行I/O 3.8 小結 第二部分 并行應用 第4章 一般應用問題 4.1 一個簡單例子的應用特征 4.2 求解泊松方程的雅可比方法的通信結構 4.3 一般計算格式的通信開銷 4.4 基本復合系統(tǒng)應用模型 4.5 時間步進模擬和事件驅動模擬 4.6 應用問題的時間結構 4.7 基本復合系統(tǒng)并行模型小結 4.8 元計算問題 4.9 小結 第5章 計算流體力學中的并行計算 5.1 計算流體力學概述 5.2 不可壓流 5.3 可壓流 5.4 小結 第6章 環(huán)境和能源科學中的并行計算 6.1 地下流建模 6.2 IPARS和NetSolve網(wǎng)格計算 6.3 IPARS的跟蹤與交互式模擬 6.4 地表水模擬 6.5 利用ADR實現(xiàn)流體和輸運耦合模擬 6.6 小結 第7章 并行計算化學：NWChem綜述 7.1 分子量子化學 7.2 NWChem體系結構 7.3 NWChem中的并行計算支撐模塊 7.4 NWChem中的化學相關模塊 7.5 NWChem在計算化學領域中的地位 7.6 計算化學算法的共同特征 7.7 小結 第8章 應用綜述 8.1 數(shù)值廣義相對論 8.2 格子量子色動力學的數(shù)值模擬 8.3 海洋建模 8.4 地震模擬 8.5 宇宙結構的形成 8.6 計算電磁學 8.7 數(shù)據(jù)挖掘中的并行算法 8.8 信號和圖像處理中的高性能計算 8.9 確定型Monte Carlo方法及其并行化 8.10 光子源擬實時X射線微成像實驗 8.11 基于WebHLA的部隊建模與仿真元計算環(huán)境 8.12 應用的計算結構 8.13 小結 第三部分 各種軟件技術 第9章 軟件技術 9.1 并行編程技術的選擇 9.2 如何獲得正確和有效的執(zhí)行 9.3 小結 第10章 消息傳遞和線程 10.1 消息傳遞編程模型 10.2 多線程編程 10.3 小結 第11章 并行I/O 11.1 并行I/O框架 11.2 MPI-IO 11.3 并行I/O優(yōu)化 11.4 如何獲得高的I/0性能 11.5 小結 第12章 編程語言與編譯器 12.1 自動并行 12.2 高性能FORTRAN：數(shù)據(jù)并行編程 12.3 OpenMP：共享存儲并行編程 12.4 Co-Array FORTRAN：SPMD編程 12.5 支持技術 12.6 發(fā)展趨勢 12.7 小結 第13章 面向對象的并行庫 13.1 面向對象的并行庫 13.2 Java中的面向對象并行編程 13.3 C++多線程計算 13.4 遠程函數(shù)調用. 全局指針和Java RMI 13.5 基于組件的軟件設計 13.6 小結 第14章 問題求解環(huán)境 14.1 NetSolve：基于網(wǎng)絡的解法器： 14.2 基于WebFlow對象的Web計算 14.3 WebPDELab 14.4 其他網(wǎng)格計算環(huán)境 14.5 小結 第15章 性能調整和程序調試工具 15.1 正確性和性能監(jiān)測的基本概念 15.2 測試與調試實現(xiàn)上面臨的問題 15.3 編譯器的高度集成 15.4 軟件工具的界面和使用 15.5 軟件工具實例 15.6 面臨的挑戰(zhàn)和開放性問題 15.7 小結 第16章 二維泊松問題 16.1 數(shù)學模型 16.2 簡單算法 16.3 泊松方程的并行求解 16.4 增加全局操作 第四部分 關鍵技術與算法 第17章 可重用的軟件和算法 17.1 模板：并行軟件的設計模式 17.2 通信器和中性數(shù)據(jù)結構 17.3 標準的庫和組件 17.4 自動微分 17.5 模板和數(shù)值線性代數(shù) 17.6 小結 第18章 高性能科學模擬的圖剖分技術 18.1 網(wǎng)格剖分與圖 18.2 靜態(tài)圖剖分技術 18.3 自適應計算的負載平衡 18.4 并行圖剖分 18.5 多約束和多目標圖剖分 18.6 小結 第19章 網(wǎng)格生成 19.1 網(wǎng)格生成的策略和技術 19.2 網(wǎng)格生成過程和幾何預處理 19.3 自適應網(wǎng)格生成 19.4 并行網(wǎng)格生成 19.5 網(wǎng)格生成軟件 19.6 網(wǎng)格結構 19.7 與網(wǎng)格生成有關的網(wǎng)址 19.8 幾何/網(wǎng)格生成的主要困難 19.9 未來發(fā)展方向 19.10 小結 第20章 模板和數(shù)值線性代數(shù) 20.1 稠密線性代數(shù)算法 20.2 計算機體系結構對性能的影響 20.3 稠密線性代數(shù)庫 20.4 稀疏線性代數(shù)方法 20.5 稀疏直接法 20.6 稀疏迭代法 20.7 稀疏特征值問題 20.8 小結 第21章 可擴展的偏微分方程解法軟件 21.1 偏微分方程簡介 21.2 并行偏微分方程計算的難點 21.3 并行求解策略 21.4 PETSc軟件中并行求解偏微分方程的方法 21.5 PDE軟件 21.6 小結 第22章 并行連續(xù)最優(yōu)化 22.1 局部最優(yōu)化 22.2 全局最優(yōu)化 22.3 直接搜索方法 22.4 相連子系統(tǒng)最優(yōu)化 22.5 變量與約束分布 22.6 小結 第23章 科學計算中的路徑追蹤及其在AUTO上的實現(xiàn) 23.1 局部連續(xù) 23.2 全局連續(xù)和度理論 23.3 折疊和分歧 23.4 實際的路徑追蹤方法 23.5 分歧點處的分支選擇 23.6 計算實例：AUTO 23.7 并行AUTO 23.8 小結 第24章 自動微分 24.1 自動微分概述 24.2 自動微分實現(xiàn)技術 24.3 自動微分軟件 24.4 消息傳遞并行代碼的自動微分 24.5 自動微分的高級用法 24.6 小結 第五部分 結 論 第25章 結論和未來發(fā)展方向 25.1 計算資源 25.2 應用 25.3 軟件 25.4 模板. 算法和技術 25.5 未來發(fā)展方向 參考文獻 術語表

暫缺《并行計算綜論》作者簡介