The purpose of this book is to help you understand how to program shared-memory parallel machines without risking your sanity.1 By describing the algorithms and designs that have worked well in the past, we hope to help you avoid at least some of the pitfalls that have beset parallel projects. But you should think of this book as a foundation on which to build, rather than as a completed cathedral. Your mission, if you choose to accept, is to help make further progress in the exciting field of parallel programming, progress that should in time render this book obsolete. Parallel programming is not as hard as it is reputed, and it is hoped that this book makes it even
easier for you.
1
Introduction
1.1 Historic Parallel Programming Difficulties . . . . . . . . . . . . . . . . .
1.2 Parallel Programming Goals . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.2 Productivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.3 Generality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Alternatives to Parallel Programming . . . . . . . . . . . . . . . . . . . .
1.3.1 Multiple Instances of a Sequential Application . . . . . . . . . .
1.3.2 Make Use of Existing Parallel Software . . . . . . . . . . . . . .
1.3.3 Performance Optimization . . . . . . . . . . . . . . . . . . . . .
1.4 What Makes Parallel Programming Hard? . . . . . . . . . . . . . . . . .
1.4.1 Work Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.2 Parallel Access Control . . . . . . . . . . . . . . . . . . . . . . .
1.4.3 Resource Partitioning and Replication . . . . . . . . . . . . . . .
1.4.4 Interacting With Hardware . . . . . . . . . . . . . . . . . . . . .
1.4.5 Composite Capabilities . . . . . . . . . . . . . . . . . . . . . . .
1.4.6 How Do Languages and Environments Assist With These Tasks? .
1.5 Guide to This Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.1 Quick Quizzes . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.2 Sample Source Code . . . . . . . . . . . . . . . . . . . . . . . .
2 Hardware and its Habits
2.1 Overview . . . . . . . . . . . . . . .
2.1.1 Pipelined CPUs . . . . . . . .
2.1.2 Memory References . . . . .
2.1.3 Atomic Operations . . . . . .
2.1.4 Memory Barriers . . . . . . .
2.1.5 Cache Misses . . . . . . . . .
2.1.6 I/O Operations . . . . . . . .
2.2 Overheads . . . . . . . . . . . . . . .
2.2.1 Hardware System Architecture
2.2.2 Costs of Operations . . . . . .
2.3 Hardware Free Lunch? . . . . . . . .
2.3.1 3D Integration . . . . . . . .
2.3.2 Novel Materials and Processes
2.3.3 Special-Purpose Accelerators
2.3.4 Existing Parallel Software . .
2.4 Software Design Implications . . . . .
...
新电脑课堂OFFICE2007办公应用基础与提高附光盘 目录 第1章 Office 2007的组成与安装第2章 Word的基本操作第3章 Word排版技术第4章...
《如何专业做采购》内容简介:作为专业采购必须有能力回答4大核心问题: 为什么选择这家供应商? 为什么是这个价格? 如何通过合同
《自由绘画:插画师要知道的84个创作技巧》通过当今最酷的艺术家的作品,向大家展示了84个插画创作的技巧,并通过这些作品讲解了
《我读:陪你读到世界尽头》内容简介:《我读:陪你读到世界尽头》是由梁文道主讲的书评集。用最简洁直白的方式带领读者领略好书的
汇编语言程序设计-第2版 本书特色 《汇编语言程序设计(第2版)》以Intel 80x86 CPU的指令系统为介绍对象,以并行推进的方式来介绍其16位和32位C...
《中国历史研究法》内容简介:《中国历史研究法》是继梁氏《新史学》后又一杰作,系以传统史学所积累的方法为基础,结合当时西方史
《一所优质品牌学校的成长密码》内容简介:本书是对东辰教育二十年办学历程的回顾,是一部绵阳东辰国际学校的发展创新史。书中介绍
计算机视觉算法与智能车应用 本书特色 本书介绍计算机视觉在智能车中的应用,分三个部分共13章。**部分(第1、2章),供初学者学习,介绍计算机视觉的定义、研究内...
《工业互联网推动中小企业包容性增长的内在逻辑》内容简介:本书紧扣“把握构建新发展格局的时代使命,立足中小企业生力军主体,依
《JavaTCP/IPSocket编程(原书第2版)》基于TCP/IPSocket相关原理,对如何在Java中进行Socket编程作了深入浅出的介绍。《Java...
《元宇宙超入门》内容简介:我们每天都在数字化生活之中。元宇宙,是数字化经济与生活的终极形态。元宇宙=实体世界数字世界。临界点
《中国哲学通史(明代卷)》内容简介:宋明理学是中国传统哲学发展的高峰,但在宋明之间,既存在着思想谱系的一致性,又存在着“得
《DSLR数码单反摄影宝典》内容简介:《DSLR数码单反摄影宝典》共分五篇18章,从基础入门开始为读者介绍如何定位相机,并根据需要挑
虚拟现实交互设计 本书特色 本书从虚拟现实的基础理论出发,内容涵盖设计艺术学领域多个专业的知识,通过具体的原创设计案例分析,在3ds max和vrp平台,虚拟现...
《护肤品全解码:100款超人气护肤品成分大检阅》内容简介:现在美容杂志、美容书籍琳琅满目。一些书籍和杂志的介绍过于简单和笼统,
《Arduino创意机器人入门》内容简介:机器人教育融机械、传感与控制等内容为一体,让学生在手脑并用解决实际问题的过程中,有效地提
《超越谷歌:全球网脑新商机》主要内容简介:全球金融危机人人关注。金融危机证明了亚当•斯密提出的“看不见的手”已经失灵,人类
《社群营销:方法、技巧与实践(第2版)》内容简介:互联网正从“物以类聚”,走向“人以群分”的时代。秋叶等人的“社群营销”,并
《轻战略:量子时代的敏捷决策》内容简介:本书适合创业型小企业和大型企业的内部孵化企业专业人士使用,提出了创新型组织需要更加
《昆虫记 第六卷》内容简介:《昆虫记》是一部涵跨文学与科学领域的经典巨著,百佘年来一直誉满全球。本套全译插图珍藏本在最大限度