并行计算综论

　　内容简介目录这是一本全面介绍近年来并行计算研究进展的著作，主要按照并行性、并行应用、软件技术以及关键技术和算法等方面展开讨论。关于并行性，主要概述了并行计算的各个方面并介绍其所依赖的软、硬件平台；关于并行应用，主要介绍了并行计算在计算流体力学、环境与能源、计算化学，以及其他十几个典型数值和非数值计算领域中的应用；关于软件技术，主要介绍了并行计算的软件基础，包括消息传递和线程、并行I/O、编程语言与编译器、面向对象的并行库、问题求解环境、性能调整与程序调试工具等；关于关键技术和算法，主要介绍了在大量应用领域广泛使用的并行计算技术和并行算法，包括可重用软件与算法、高性能科学模拟中的图剖分问题、网格剖分、模板与数值线性代数、PDE可扩展求解软件、并行连续优化、科学计算路径追踪和自动微分等。本书还列出了近年来与并行计算相关的上千篇参考文献。本书是一本综合性很强的并行计算专著，可供对并行计算感兴趣的高等院校、研究所、工业和商业部门等各应用领域的研究和工程技术人员参考。并行计算具有将计算能力从单个处理机无缝地扩展到无穷多个处理机的潜力。然而，应用程序的性能仍无法与并行机的峰值性能相匹配，并行机上的编程任务仍然相当繁重，而且在编程时还需要尽可能挖掘应用程序的并行性。当前，在并行机上获取高可扩展并行性的诸多工作仍然是由应田开发人员承担的。《并行计算综论》-书收集了60多位从事并行计算的杰出研究人员的知识和经验，主要按照并行性、并行应用、软件技术，以及关键技术和算法等方面展开讨论，为相关领域的学生、科学家和工程师们提供了一本内容丰富的读本。本书主要特点·由研究并行工具、语言、技术等领域的专家编写。·测试可用的并行技术并指导学生和技术人员如何选择和获取实用的技术。·提供多个应用领域中的实例，其中包括化学、图像处理、数据挖掘、海洋模拟和地震模拟等。·探讨了并行计算技术未来发展方向及其所能支持的应用类型。译者序 10多年前， 在大规模并行计算机， 尤其是分布式存储并行计算机上， 如何开发高效可移植的并行算法和并行应用程序， 曾经是困扰科学与工程计算应用部门的一个最大难题， 也束缚了高性能并行计算在国内的普及推广应用. 如今， 随着高性能并行机的日益普及， 尤其是低价格高性能比的微机机群的推广应用， 以及并行编程标准， 尤其是消息传递MPI和共享存储OpenMP的统一， 高性能并行计算已经成为加速我国科学与工程应用数值模拟的一种关键支撑技术， 是从事科学与工程计算专业的研究人员或者学生想学习的一门基础课程. 特别是近几年以来， 我国在对计算需求较大的应用部门. 研究所和大学以及许多大城市中， 相继成立了高性能计算中心， 配备了每秒峰值超过万亿次浮点运算， 包含上千个处理器的大规模高性能并行机. 国家863计划也启动了国家高性能计算网格环境， 希望共享各个高性能计算中心的资源， 加速提高我国的数值模拟水平. 应该说， 目前我国高性能并行计算硬件平台已经比较先进， 开展高性能并行计算研究的条件已经非常成熟. 自从并行计算机在我国诞生并应用以来， 我国关键应用部门. 大学. 研究所和工业部门就已经对并行计算进行了长期的研究. 但是， 从总体水平上， 尤其是并行应用软件的开发水平上， 我国还远远落后于美国等国家， 这一差距比计算机硬件落后的差距大得多. 如何在现有高性能并行计算机硬件平台和软件支撑环境上， 结合各个应用部门的具体应用和数值方法的特点， 通过移植. 改进和设计高效的并行算法， 将现有的大量应用程序移植到高性能可扩展并行机上运行， 甚至直接重新设计高效的并行应用软件， 并开发相应的辅助软件工具， 以简化并行应用程序的开发， 缩短软件开发周期， 提高软件的计算效率， 将是从事并行科学与工程计算研究的人员必须面对的一个关键问题. 只有解决了这个问题， 才能真正用好大规模并行计算机， 缩短我国与国外的应用差距. 因此， 为了达到以上目的， 我们在做好并行计算的普及推广工作的同时， 希望能尽快学习国外并行应用软件开发的先进经验， 加速提高我们的研制能力. 可喜的是， 该书全面总结了美国国家科学基金并行计算研究中心近10多年来在并行计算研究和并行应用程序开发方面所做的工作， 正好可用于填补我国在这方面的不足， 值得我们学习和借鉴. 该书是一本全面介绍近10多年来并行计算研究进展的著作， 内容涵盖了高性能并行计算研究和应用的各个方面， 包括并行计算研究依赖的并行机硬件平台. 并行应用开发. 并行编程软件技术. 并行计算关键技术和算法等. 该书的作者是多位长期从事高性能并行计算研究的国际知名并行计算专家， 其中包括Jack Dongarra， Ian Foster， Geoffrey Fox， William Gropp等， 他们长期领导着国际并行计算的前沿工作. 因此， 该书也是对他们多年来工作的一个系统总结， 是一本难得的既有学术水平， 又有实际应用价值的综合性书籍. 同时， 该书也注意到它的参考价值， 列出了近年来涉及并行计算研究的上千篇文献， 这对我们无疑是非常有用的. 鉴于以上原因， 我们组织了该书的翻译工作. 为了保证该书的翻译质量， 在莫则尧研究员的组织下， 具体分为3个小组， 分别由莫则尧研究员. 陈军和曹小林副研究员负责. 其中， 陈军负责第一部分和第二部分， 翻译了第1章. 第3章. 第9章. 第10章. 第11章和第16章， 罗红兵翻译了第12章. 第13章和第14章， 张晓霞翻译了第2章和第15章， 莫则尧负责第三部分， 翻译了第8章（其中， 陈虹翻译了8. 7节）， 张爱清翻译了第4章. 第6章和第7章， 左风丽翻译了第5章， 曹小林负责第四部分和第五部分， 翻译了第X章到第25章， 廖丽翻译了第17章. 第19章和第21章， 徐小文翻译了第20章， 金光浩翻译了第18章. 译稿完成后， 为了确保翻译质量， 我们首先在组内相互阅读译稿并校对， 然后在组间相互阅读译稿并校对， 接下来由莫则尧和陈军阅读全书译稿， 以确保译文前后的一致性， 最后由李晓梅教授负责审校全书译稿. 感谢北京应用物理与计算数学研究所高性能计算中心提供的良好条件， 使本书的翻译得以顺利完成. 感谢北京应用物理与计算数学研究所张宝琳研究员和中科院计算数学研究所张林波研究员关于翻译的一些有益讨论. 由于译者水平有限， 如果有不确切或错误之处， 望读者不吝赐教.前言 并行计算研究中心（CRPC：Centerfor Researchon Parallel Computation）是美国国家科学基金（NSF：National Science Foundation）资助的科学和技术中心. 并行计算研究中心自成立以来， 一直致力于并行计算研究和技术开发， 并使并行计算"真正有用". 其间， 通过移植. 改进和设计新的高效算法， 已经将一大批现有应用程序移植到可扩展并行机上运行， 并开发了大量相应的辅助工具软件. 所有这些工作源自CRPC内部和业界广泛的应用需求. 尽管这些策略和工具已被并行应用专业开发人员所熟悉， 但据我们所知， 目前还没有相关资料为新涉足该领域的人详细介绍这些内容. 为此， 本书意图填补这项空白， 将详细介绍这些应用以及移植它们所使用的技术. 本书旨在帮助新涉足并行计算领域的人员尽快了解如何使用这些技术. 本书也适合从事计算科学的学生和研究人员了解与掌握高性能并行计算中的基础理论和实际技能. 这里， 我们假设读者已经较好地了解了应用科学或计算科学， 但缺少并行计算的基础知识， 因此本书包括了大量教学资料. 同时， 我们希望本书成为从事并行应用程序开发的人员的一本实用参考书， 为此书中深入剖析了并行计算中有用的特殊技术和方法. 如果读者希望粗略了解这些方法， 可以阅读每个部分开头的应用概述或技术概述章节. 希望读者能从我们过去15年的积累中获取一些有用的经验， 避免再犯与我们在获取这些经验时所犯的同样错误. 本书的内容 本书由五个部分组成. 第一部分并行性 这个部分介绍了并行计算及其所依赖的软. 硬件环境. 其中， 分别概述了并行计算的各个方面， 深入阐述了现代并行机体系结构， 讨论了并行编程必须考虑的一些问题. 第二部分并行应用 这个部分帮助初级开发人员理解如何将高性能计算应用到大量特定领域， 注重于如何选择合适的软件和算法及其具体实现. 其中， 分别讨论了计算流体力学. 环境与能源. 计算化学等领域的应用与实现， 并用单独的一章（给出了11幅彩图）介绍了并行计算在其他领域的成功应用. 这些内容涵盖了广泛的科学领域和数值方法. 后续章节将再次引用这些应用， 并将深入讨论并行应用开发所需的软件技术和算法. 第三部分各种软件技术 这个部分介绍了并行应用开发过程中用到的一些软件技术的进展， 包括消息传递库. 用于并行计算的运行时库（例如HPC++类库， 类似HPF的语言， Co-ArrayFORTRAN， 和HPC++）. 类似poblo的性能分析与调整工具以及高级程序设计系统等. 这个部分的目的是为读者选择正确的并行计算技术提供指导信息. 第四部分关键技术与算法 这个部分讨论了大量科学与工程应用问题数值模拟计算中广泛使用的并行数值算法， 包括线性代数. 连续和离散最优化等. 其中， 每一章针对不同算法进行了深入讨论， 主要为应用开发人员在寻求不同问题的最佳算法的过程中提供可用的资源. 第五部分结论 这个部分总结了上述内容， 并讨论了高性能科学与工程计算业界将要面临的重要问题， 包括网格环境下的分布式计算. 本书的使用方式 读者可以从以下几个方面来使用本书. 新涉足并行计算领域的人员可以先阅读第一部分的所有章节， 然后阅读第4章. 第9章. 第16章. 第17章和第25章. 第4章. 第9章和第17章分别概要介绍了第二部分. 第三部分和第四部分的内容， 为那些对其中某些内容感兴趣的读者指明了需要进一步阅读的章节. 如果读者是特定领域的开发人员， 想了解对自己有所帮助的技术， 可以从第二部分开始阅读. 这个部分介绍了大量的应用和并行技术. 如果读者找到了与自己正在研究的领域相似的应用， 可以通过交叉参考第三部分和第四部分中的内容， 找到有用的策略和技术. 最后， 并行计算专家可以将本书作为参考文献. 每个部分的引言为该部分的其他内容提供了指导信息. 本书也可以作为系统用户的一本指南， 这些系统包括从小型桌面对称多处理机和PC机群， 到价值上亿美元甚至更昂贵的高端超级计算机. 本书主要介绍软件技术以及使用这些技术的大规模应用程序. 在每个议题中， 首先一般性地讨论了该领域的状况， 然后详细描述了其中的关键技术或方法. 在某些议题中， 例如消息传递编程， 直接采用消息传递界面来展开讨论， 在其他议题中， 例如问题求解环境， 我们选择了具有代表性的系统来阐述其中的概念. 致谢 本书汲取了自CRPC成立以来高性能并行计算界所取得的研究进展. CRPC是美国国家科学基金资助的科学和技术中心， 包括了莱斯大学， 加利福尼亚技术研究所， 美国Argonne国家实验室， 美国Losalalnos国家实验室， Syracuse大学， 田纳西大学Knoxville分校和得克萨斯大学奥斯汀分校的相关人员. 美国国家科学基金的资助使本书得以问世. 本书中的研究工作得到了美国国家科学基金， 美国能源部， 美国国防部（特别是国防先进研究项目机构）和美国航空航天局的赞助， 另外还得到了CRPC所属研究所. 每章作者所在的研究机构的赞助. 在美国国家科学基金资助结束后， 莱斯大学提供了基金资助， 这项基金用于为本书的完成偿付技术支持费用. 我们也非常感谢那些帮助我们完成本书的人们. Teresa Parks利用他的编辑与技术技巧修正了原始手稿. Sarah Gonzales提供了技术支持以及出版用的图形. Gail Pieper校对了其中一些章节. 在我们使用LaTex的过程中得到Keith Cooper的指导和建议. Ellen Butler和Shil-iang Chang汇编了本书的目录. Penny Anderson为本书的出版做了大量工作， 包括汇集作者的简介， 并收集版权表格， 以及获取关于使用带版权资料的许可权. Ellen Butler， Kahryn O'Brien， Penny Anderson和Theresa Chatman组织了会议和远程电信会议. 处理信件. 管理邮件列表， 并在别人需要帮助时慷慨相助. 我们非常感谢他们， 没有他们的努力， 这本书将难以出版. 另外， 我们还要感谢Denise Penrose. 他是Morgan Kaufmann出版社专门负责本书的编辑， 他在手稿准备方面提出了有用的建议， 并为我们的手稿组织了单独的评论文章， 这对我们非常有用. Emilia Thiuri为即将出版的最后手稿提供了编辑支持并提出了宝贵意见. 制作编辑Howard Severson使本书的出版得以紧凑地进行， 并在此期间始终保持其幽默的言谈. 所有这些出版人员， 包括校对编辑Barbara Kohl和Carol Leyba， 索引编辑Steve Rath， 均为本书的高质量完成做出了贡献. 我们也感谢那些为本书提供鲜亮外表的人们和工具：提供文字设计的DettaPenna，提供封面设计的FrancesBaca， 用于制作插图的Dartmouth Publishing工具和用于排版的Windfall Software工具. 尤其感谢排版人员的努力， 将我们在后期所做的有关数字方面的改动修正到出版物中. 最后， 评论人员为本书提供了许多充满智慧并且非常实用的评注， 这对本书的结构. 内容和质量都有着重要的影响. 对所有这些人以及每一章的作者， 我们表示衷心的感谢. 第一部分 并行性 第1章 引言 1.1 并行计算硬件 1.2 并行应用 1.3 软件和算法 1.4 并行计算科学 第2章 并行机体系结构 2.1 单处理机体系结构 2.2 并行体系结构 2.3 并行体系结构的未来趋势 2.4 小结 第3章 并行编程面临的问题 3.1 体系结构 3.2 程序并行分解 3.3 并行性能优化 3.4 存储层次管理 3.5 并行调试 3.6 性能分析与调整 3.7 并行I/O 3.8 小结 第二部分 并行应用 第4章 一般应用问题 4.1 一个简单例子的应用特征 4.2 求解泊松方程的雅可比方法的通信结构 4.3 一般计算格式的通信开销 4.4 基本复合系统应用模型 4.5 时间步进模拟和事件驱动模拟 4.6 应用问题的时间结构 4.7 基本复合系统并行模型小结 4.8 元计算问题 4.9 小结 第5章 计算流体力学中的并行计算 5.1 计算流体力学概述 5.2 不可压流 5.3 可压流 5.4 小结 第6章 环境和能源科学中的并行计算 6.1 地下流建模 6.2 IPARS和NetSolve网格计算 6.3 IPARS的跟踪与交互式模拟 6.4 地表水模拟 6.5 利用ADR实现流体和输运耦合模拟 6.6 小结 第7章 并行计算化学：NWChem综述 7.1 分子量子化学 7.2 NWChem体系结构 7.3 NWChem中的并行计算支撑模块 7.4 NWChem中的化学相关模块 7.5 NWChem在计算化学领域中的地位 7.6 计算化学算法的共同特征 7.7 小结 第8章 应用综述 8.1 数值广义相对论 8.2 格子量子色动力学的数值模拟 8.3 海洋建模 8.4 地震模拟 8.5 宇宙结构的形成 8.6 计算电磁学 8.7 数据挖掘中的并行算法 8.8 信号和图像处理中的高性能计算 8.9 确定型Monte Carlo方法及其并行化 8.10 光子源拟实时X射线微成像实验 8.11 基于WebHLA的部队建模与仿真元计算环境 8.12 应用的计算结构 8.13 小结 第三部分 各种软件技术 第9章 软件技术 9.1 并行编程技术的选择 9.2 如何获得正确和有效的执行 9.3 小结 第10章 消息传递和线程 10.1 消息传递编程模型 10.2 多线程编程 10.3 小结 第11章 并行I/O 11.1 并行I/O框架 11.2 MPI-IO 11.3 并行I/O优化 11.4 如何获得高的I/0性能 11.5 小结 第12章 编程语言与编译器 12.1 自动并行 12.2 高性能FORTRAN：数据并行编程 12.3 OpenMP：共享存储并行编程 12.4 Co-Array FORTRAN：SPMD编程 12.5 支持技术 12.6 发展趋势 12.7 小结 第13章 面向对象的并行库 13.1 面向对象的并行库 13.2 Java中的面向对象并行编程 13.3 C++多线程计算 13.4 远程函数调用. 全局指针和Java RMI 13.5 基于组件的软件设计 13.6 小结 第14章 问题求解环境 14.1 NetSolve：基于网络的解法器： 14.2 基于WebFlow对象的Web计算 14.3 WebPDELab 14.4 其他网格计算环境 14.5 小结 第15章 性能调整和程序调试工具 15.1 正确性和性能监测的基本概念 15.2 测试与调试实现上面临的问题 15.3 编译器的高度集成 15.4 软件工具的界面和使用 15.5 软件工具实例 15.6 面临的挑战和开放性问题 15.7 小结 第16章 二维泊松问题 16.1 数学模型 16.2 简单算法 16.3 泊松方程的并行求解 16.4 增加全局操作 第四部分 关键技术与算法 第17章 可重用的软件和算法 17.1 模板：并行软件的设计模式 17.2 通信器和中性数据结构 17.3 标准的库和组件 17.4 自动微分 17.5 模板和数值线性代数 17.6 小结 第18章 高性能科学模拟的图剖分技术 18.1 网格剖分与图 18.2 静态图剖分技术 18.3 自适应计算的负载平衡 18.4 并行图剖分 18.5 多约束和多目标图剖分 18.6 小结 第19章 网格生成 19.1 网格生成的策略和技术 19.2 网格生成过程和几何预处理 19.3 自适应网格生成 19.4 并行网格生成 19.5 网格生成软件 19.6 网格结构 19.7 与网格生成有关的网址 19.8 几何/网格生成的主要困难 19.9 未来发展方向 19.10 小结 第20章 模板和数值线性代数 20.1 稠密线性代数算法 20.2 计算机体系结构对性能的影响 20.3 稠密线性代数库 20.4 稀疏线性代数方法 20.5 稀疏直接法 20.6 稀疏迭代法 20.7 稀疏特征值问题 20.8 小结 第21章 可扩展的偏微分方程解法软件 21.1 偏微分方程简介 21.2 并行偏微分方程计算的难点 21.3 并行求解策略 21.4 PETSc软件中并行求解偏微分方程的方法 21.5 PDE软件 21.6 小结 第22章 并行连续最优化 22.1 局部最优化 22.2 全局最优化 22.3 直接搜索方法 22.4 相连子系统最优化 22.5 变量与约束分布 22.6 小结 第23章 科学计算中的路径追踪及其在AUTO上的实现 23.1 局部连续 23.2 全局连续和度理论 23.3 折叠和分歧 23.4 实际的路径追踪方法 23.5 分歧点处的分支选择 23.6 计算实例：AUTO 23.7 并行AUTO 23.8 小结 第24章 自动微分 24.1 自动微分概述 24.2 自动微分实现技术 24.3 自动微分软件 24.4 消息传递并行代码的自动微分 24.5 自动微分的高级用法 24.6 小结 第五部分 结 论 第25章 结论和未来发展方向 25.1 计算资源 25.2 应用 25.3 软件 25.4 模板. 算法和技术 25.5 未来发展方向 参考文献 术语表

暂缺《并行计算综论》作者简介