本书全面涵盖了并行软件和硬件的方方面面,深入浅出地介绍如何使用mpi(分布式内存编程)、pthreads和openmp(共享内存编程)编写高效的并行程序。各章节包含了难易程度不同的编程习题。
本书可以用做计算机科学专业低年级本科生的专业课程的教材,也可以作为软件开发人员学习并行程序设计的专业参考书。
《并行程序设计导论》
出版者的话
译者序
本书赞誉
前言
致谢
第1章为什么要并行计算
1.1为什么需要不断提升的性能
1.2为什么需要构建并行系统
1.3为什么需要编写并行程序
1.4怎样编写并行程序
1.5我们将做什么
1.6并发、并行、分布式
1.7本书的其余部分
1.8警告
1.9字体约定
1.10小结
1.11习题
第2章并行硬件和并行软件
2.1背景知识
.2.1.1冯·诺依曼结构
2.1.2进程、多任务及线程
2.2对冯·诺依曼模型的改进
2.2.1cache基础知识
2.2.2cache映射
2.2.3cache和程序: 一个实例
2.2.4虚拟存储器
2.2.5指令级并行
2.2.6硬件多线程
2.3并行硬件
2.3.1simd系统
2.3.2mimd系统
2.3.3互连网络
2.3.4cache一致性
2.3.5共享内存与分布式内存
2.4并行软件
2.4.1注意事项
2.4.2进程或线程的协调
2.4.3共享内存
2.4.4分布式内存
2.4.5混合系统编程
2.5输入和输出
2.6性能
2.6.1加速比和效率
2.6.2阿姆达尔定律
2.6.3可扩展性
2.6.4计时
2.7并行程序设计
2.8编写和运行并行程序
2.9假设
2.10小结
2.10.1串行系统
2.10.2并行硬件
2.10.3并行软件
2.10.4输入和输出
2.10.5性能
2.10.6并行程序设计
2.10.7假设
2.11习题
第3章用mpi进行分布式内存编程
3.1预备知识
3.1.1编译与执行
3.1.2mpi程序
3.1.3mpi_init和mpi_finalize
3.1.4通信子、mpi_comm_size和mpi_comm_rank
3.1.5spmd程序
3.1.6通信
3.1.7mpi_send
3.1.8mpi_recv
3.1.9消息匹配
3.1.10status_p参数
3.1.11mpi_send和mpi_recv的语义
3.1.12潜在的陷阱
3.2用mpi来实现梯形积分法
3.2.1梯形积分法
3.2.2并行化梯形积分法
3.3i/o处理
3.3.1输出
3.3.2输入
3.4集合通信
3.4.1树形结构通信
3.4.2mpi_reduce
3.4.3集合通信与点对点通信
3.4.4mpi_allreduce
3.4.5广播
3.4.6数据分发
3.4.7散射
3.4.8聚集
3.4.9全局聚集
3.5mpi的派生数据类型
3.6mpi程序的性能评估
3.6.1计时
3.6.2结果
3.6.3加速比和效率
3.6.4可扩展性
3.7并行排序算法
3.7.1简单的串行排序算法
3.7.2并行奇偶交换排序
3.7.3mpi程序的安全性
3.7.4并行奇偶交换排序算法的重要内容
3.8小结
3.9习题
3.10编程作业
第4章用pthreads进行共享内存编程
4.1进程、线程和pthreads
4.2“hello,world”程序
4.2.1执行
4.2.2准备工作
4.2.3启动线程
4.2.4运行线程
4.2.5停止线程
4.2.6错误检查
4.2.7启动线程的其他方法
4.3矩阵-向量乘法
4.4临界区
4.5忙等待
4.6互斥量
4.7生产者-消费者同步和信号量
4.8路障和条件变量
4.8.1忙等待和互斥量
4.8.2信号量
4.8.3条件变量
4.8.4pthreads路障
4.9读写锁
4.9.1链表函数
4.9.2多线程链表
4.9.3pthreads读写锁
4.9.4不同实现方案的性能
4.9.5实现读写锁
4.10缓存、缓存一致性和伪共享
4.11线程安全性
4.12小结
4.13习题
4.14编程作业
第5章用openmp进行共享内存编程
5.1预备知识
5.1.1编译和运行openmp程序
5.1.2程序
5.1.3错误检查
5.2梯形积分法
5.3变量的作用域
5.4归约子句
5.5parallel for指令
5.5.1警告
5.5.2数据依赖性
5.5.3寻找循环依赖
5.5.4π值估计
5.5.5关于作用域的更多问题
5.6更多关于openmp的循环:排序
5.6.1冒泡排序
5.6.2奇偶变换排序
5.7循环调度
5.7.1schedule子句
5.7.2static调度类型
5.7.3dynamic和guided调度类型
5.7.4runtime调度类型
5.7.5调度选择
5.8生产者和消费者问题
5.8.1队列
5.8.2消息传递
5.8.3发送消息
5.8.4接收消息
5.8.5终止检测
5.8.6启动
5.8.7atomic指令
5.8.8临界区和锁
5.8.9在消息传递程序中使用锁
5.8.10critical指令、atomic指令、锁的比较
5.8.11经验
5.9缓存、缓存一致性、伪共享
5.10线程安全性
5.11小结
5.12习题
5.13编程作业
第6章并行程序开发
6.1n体问题的两种解决方法
6.1.1问题
6.1.2两个串行程序
6.1.3并行化n体算法
6.1.4关于i/o
6.1.5用openmp并行化基本算法
6.1.6用openmp并行化简化算法
6.1.7评估openmp程序
6.1.8用pthreads并行化算法
6.1.9用mpi并行化基本算法
6.1.10用mpi并行化简化算法
6.1.11mpi程序的性能
6.2树形搜索
6.2.1递归的深度优先搜索
6.2.2非递归的深度优先搜索
6.2.3串行实现所用的数据结构
6.2.4串行实现的性能
6.2.5树形搜索的并行化
6.2.6采用pthreads实现的静态并行化树搜索
6.2.7采用pthreads实现的动态并行化树搜索
6.2.8pthreads树搜索程序的评估
6.2.9采用openmp实现的并行化树搜索程序
6.2.10openmp实现的性能
6.2.11采用mpi和静态划分来实现树搜索
6.2.12采用mpi和动态划分来实现树搜索
6.3忠告
6.4选择哪个api
6.5小结
6.5.1pthreads和openmp
6.5.2mpi
6.6习题
6.7编程作业
第7章接下来的学习方向
参考文献
索引
《工地社会》内容简介:在科技水平、现代设备和经济条件都十分有限的集体化时代,大型水利工程何以成为可能?本书以1958~1962年甘
《神神鬼鬼》内容简介:《神神鬼鬼》堪称名人谈鬼神的合集,由陈平原选编而成。节录了现当代文学史上如茅盾、周作人、梁实秋、老舍
ThemostcompleteguidetoCiscoCatalyst(r)switchnetworkdesign,operation,andconfigura...
《大学的理想》内容简介:《大学的理想》一书,精选出作者王冀生自1996年以来,公开发表的众多有关学术论文、报告、演讲和若干本有
《上行:可复制的突围之道》内容简介:《认知突围》作者、百万级畅销作家蔡垒磊励志新作 打破成功之路的拥挤错觉,打造向上生长的无
發明是百分之一的靈感加上百分之九十九的努力「創造突破性產品」中,作者以日常生活中已開發的商品為例,小從蔬果削皮力、手電筒
内容简介:怎样才能将访问者转化为顾客?本书提供了一些切实可行的建议,比如如何说服访问者作出购买决定,如何避免用户因信息过
《现代编译器的Java实现》(第2版)可作为高等院校编译技术课程的教材、教师参考书以及编译技术研究人员的参考资料。目录 第一部分
Flex+JSP web应用开发实战详解 内容简介 本书对flex和jsp技术进行了归纳总结,覆盖了flex和jsp技术的知识和应用场景。本书共分为5篇,分别是...
《路遥传》内容简介:路遥的短暂人生迸发出强大的生命光焰,其作品《人生》《平凡的世界》影响了千千万万普通读者。然而,英年早逝
《华尔街最受欢迎的投资课》内容简介:100多年来,华尔街诞生了数不清的投资大师,如沃伦?巴菲特、彼得?林奇、乔治?索罗斯、本杰明
《软件项目成功之道》的作者JaredR.Richardson以精炼、风趣的语言揭开了项目管理过程的神秘面纱。所涵盖的内容涉及工具、使用项目
《中华传统节日诗词故事:清明·端午》内容简介:节日诗词,把民间习俗和文人意趣结合在一起,很好地体现了中华文化源远流长、丰富
UserexperiencedesignisthedisciplineofcreatingausefulandusableWebsiteorapplicatio...
《无线局域网设计与优化》内容简介:《无线局域网设计与优化》从WLAN的起源和演进出发,简洁而又直观地描述了基于IEEE 802.11 协议
中文版Photoshop标准教程 本书特色 《中文版photoshop标准教程》:专家编著,依纲编写:《中文版photoshop标准教程》由国内一线photos...
Web GIS-原理与应用 本书特色 Web GIS综合了Web和GIS的优点,它让广大的互联网用户认识到了地理信息系统这一领域及其巨大的价值,为现代信息系统引...
我们从哪里来?我们为什么存在?我们与地球上的生命应该如何共存?人类从诞生之初起就在一直苦苦追寻这些问题的答案。如今面对环
《快速成型技术与应用》内容简介:本书对当今快速成型技术与应用的新信息进行了系统、全面的更新介绍,详细介绍了目前常用快速成型
《态度》内容简介:《态度》是作家韩少功的一部杂文集,收录了韩少功近年来创作的思想文化随笔、演讲录共十五篇。两篇分别关于捷克