The purpose of this book is to help you understand how to program shared-memory parallel machines without risking your sanity.1 By describing the algorithms and designs that have worked well in the past, we hope to help you avoid at least some of the pitfalls that have beset parallel projects. But you should think of this book as a foundation on which to build, rather than as a completed cathedral. Your mission, if you choose to accept, is to help make further progress in the exciting field of parallel programming, progress that should in time render this book obsolete. Parallel programming is not as hard as it is reputed, and it is hoped that this book makes it even
easier for you.
1
Introduction
1.1 Historic Parallel Programming Difficulties . . . . . . . . . . . . . . . . .
1.2 Parallel Programming Goals . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.2 Productivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.3 Generality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Alternatives to Parallel Programming . . . . . . . . . . . . . . . . . . . .
1.3.1 Multiple Instances of a Sequential Application . . . . . . . . . .
1.3.2 Make Use of Existing Parallel Software . . . . . . . . . . . . . .
1.3.3 Performance Optimization . . . . . . . . . . . . . . . . . . . . .
1.4 What Makes Parallel Programming Hard? . . . . . . . . . . . . . . . . .
1.4.1 Work Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.2 Parallel Access Control . . . . . . . . . . . . . . . . . . . . . . .
1.4.3 Resource Partitioning and Replication . . . . . . . . . . . . . . .
1.4.4 Interacting With Hardware . . . . . . . . . . . . . . . . . . . . .
1.4.5 Composite Capabilities . . . . . . . . . . . . . . . . . . . . . . .
1.4.6 How Do Languages and Environments Assist With These Tasks? .
1.5 Guide to This Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.1 Quick Quizzes . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.2 Sample Source Code . . . . . . . . . . . . . . . . . . . . . . . .
2 Hardware and its Habits
2.1 Overview . . . . . . . . . . . . . . .
2.1.1 Pipelined CPUs . . . . . . . .
2.1.2 Memory References . . . . .
2.1.3 Atomic Operations . . . . . .
2.1.4 Memory Barriers . . . . . . .
2.1.5 Cache Misses . . . . . . . . .
2.1.6 I/O Operations . . . . . . . .
2.2 Overheads . . . . . . . . . . . . . . .
2.2.1 Hardware System Architecture
2.2.2 Costs of Operations . . . . . .
2.3 Hardware Free Lunch? . . . . . . . .
2.3.1 3D Integration . . . . . . . .
2.3.2 Novel Materials and Processes
2.3.3 Special-Purpose Accelerators
2.3.4 Existing Parallel Software . .
2.4 Software Design Implications . . . . .
...
傻博士超经典问答3000例(1CD) 目录 PART 1 电脑故障诊断与导读 电脑硬件故障的种类 电脑软件故障的种类 病毒、木马故障排除原则 电脑故障的排除原则...
《愿你成为最好的女子(经典版)》内容简介:不可爱的缺点;既能看到美好的一面,也充满自省、努力成为更好的女子的启示。女人,要
《人工智能不会做什么》内容简介:人工智能的开发面临哪些课题?它们与人类有哪些本质上的差异? 随着人工智能围棋程序AlphaGo打败
《深度学习之TensorFlow》内容简介:本书通过96个案例,全面讲解了深度学习神经网络原理和TensorFlow的使用方法。全书共分为3篇,第
计算机基础及Photoshop应用-全国计算机等级考试一级教程-(2017年版) 本书特色 《全国计算机等级考试一级教程——计算机基础及...
《木心上海往事》内容简介:木心之所以是木心,离不开上海。木心一生中有两大主要时期,一是上海时期,木心从故乡乌镇走出,来到上
本书生动展现了各种科学领域与人们生活的结合,其深度令科学家感叹、文笔令作家叹服,核心价值在于作者展现的人类对科学的恒久敬
《2020—2021年中国原材料工业发展蓝皮书》内容简介:本书从综合、行业、地区、园区、企业、政策、热点、展望八个角度,分析总结了
《微软互联网信息服务(IIS)最佳实践》内容简介:本书系统论述了微软互联网信息服务(IIS)的基本架构、安装方法、部署方式、配置
《Word/Excel/PPT 2019完全自学教程(视频讲解版)》内容简介:全书共17章,可分为4个部分。第1部分介绍Office 2019的操作环境和通
《癌症患者怎么吃》内容简介:作者拥有十年中美临床营养工作经验,深知癌症患者在康复过程中离不开健康的饮食,科学的营养支持,从
作者简介:SimonBrown全球知名软件架构独立咨询师、讲师,创办了专门讨论软件架构问题的网站“编码架构”(codingthearchitectur
《双碳目标下的绿色增长》内容简介:碳达峰碳中和是一项长期的战略目标,将对经济社会转型起到全面、深刻而持久的引领作用。作为“
算法-(英文版.第4版) 本书特色 本书作为算法领域经典的参考书,全面介绍了关于算法和数据结构的知识,并特别针对排序、搜索、图处理和字符串处理进行了论述。第4 ...
《OpenCV+TensorFlow深度学习与计算机视觉实战》内容简介:本书旨在掌握深度学习基本知识和特性的基础上,培养使用TensorFlow+Open
《2021年MBA MPA MAPcc MEM管理类联考综合能力逻辑高分指南(考点精讲与分类精练)》内容简介:本书主要内容为管理类联考逻辑应试辅
MATLAB 优化算法案例分析与应用 本书特色 本书全面而系统地介绍了matlab算法和案例应用,涉及面广,从基本操作到高级算法应用,几乎涵盖matlab算法的...
《基于供应链视角的食品质量安全管控体系的研究》内容简介:本书简要介绍食品供应链研究综述、食品质量安全问题研究综述、食品质量
《超体能健身》内容简介:本书将通过8个简单的步骤,帮助你重返自己的最佳状态。这套健身计划十分简单,不用花太多钱,你就能达到健
《王沂孙词集》内容简介:此书系“词系列”丛书之一种。王沂孙存词六十余首,工于咏物诗,且多故国之思,清陈延焯《白雨斋词话》称