Intel Xeon Phi协处理器高性能编程指南

第1章　绪论　1
1．1　更加并行化　1
1．2　为什么需要Intel Xeon Phi协处理器　2
1．3　协处理器平台　5
1．4　第一款Intel Xeon Phi协处理器　7
1．5　控制“Ninja鸿沟”于一定范围　9
1．6　移植与优化的双重优势　9
1．7　何时使用Intel Xeon Phi协处理器　10
1．8　实现处理器性能最优　11
1．9　为何扩展超过100个线程如此重要　11
1．10　最大化并行程序性能　14
1．11　评估高度并行执行的能力　14
1．12　对于GPU是怎么样的　15
1．13　易于移植，也易于提升性能　16
1．14　性能移植　16
1．15　超线程与多线程　17
1．16　协处理器主要使用模型：MPI和Offload　17
1．17　编译器和编程模型　18
1．18　缓存优化　19
1．19　案例和细节　20
1．20　更多信息　21
第2章　高性能封闭追踪测试驱动　23
2．1　揭开引擎盖：协处理器详解　24
2．2　发动汽车：与协处理器沟通　25
2．3　轻松上路：首次运行代码　27
2．4　开始加速：多线程运行代码　31
2．5　全速行驶：使用所有核心　36
2．6　轻松过弯：访存带宽　45
2．7　高速漂移：内存带宽最大化　50
2．8　总结　52
第3章　一场乡间公路友谊赛　55
3．1　赛前准备：本章重点　55
3．2　初识赛道：9点模板算法　56
3．3　起跑线上：9点模板基准程序　58
3．4　路在前方：运行基准模板代码　63
3．5　石子路上：向量化而未扩展　65
3．6　全力比赛：向量化加上规模扩展　67
3．7　扳手和润滑油：代码微调　70
3．7．1　基准校正　70
3．7．2　使用流存储　72
3．7．3　使用2MB大型存储页　73
3．8　总结　74
3．9　更多信息　75
第4章　都市畅游：实际代码优化案例　77
4．1　选择方向：基本的扩散算法　78
4．2　到达路口：计算边界效应　78
4．3　寻找林荫大道：代码扩展化　84
4．4　雷霆之路：保证向量化　86
4．5　剥离：从最内层循环开始　89
4．6　尝试辛烷含量更高的燃料：利用数据局部性与切片分块提升速度　92
4．7　高速驾驶认证：高速旅行的总结　96
第5章　大数据(向量)　99
5．1　为什么向量化　99
5．2　如何向量化　100
5．3　实现向量化的五种方法　100
5．4　六步向量化方法论　102
5．5　通过Cache流：布局、对齐、预取数据　104
5．5．1　为什么数据布局影响向量化性能　104
5．5．2　数据校准　106
5．5．3　预取　107
5．5．4　流存储　112
5．6　编译器技巧　114
5．6．1　避免手动展开循环　114
5．6．2　循环向量化的要求(英特尔编译器)　115
5．6．3　内联的重要性，简单性能分析的干扰　116
5．7　编译器选项　117
5．8　编译器指导指令　118
5．8．1　SIMD指令　119
5．8．2　VECTOR与NOVECTOR指令　123
5．8．3　IVDEP指令　124
5．8．4　随机数函数向量化　126
5．8．5　充分向量化　128
5．8．6　-opt-assume-safe-padding选项　130
5．8．7　数据对齐　130
5．8．8　在数组表示法(Array Notation)中权衡向量长度　134
5．9　使用数组段(Array Section)支持向量化　137
5．9．1　Fortran数组段　137
5．9．2　Cilk Plus数组段和元素函数　139
5．10　查看编译器生成：汇编代码检测　143
5．10．1　如何找到汇编代码　143
5．10．2　快速查看汇编代码　145
5．11　向量化数值结果差异　149
5．12　总结　149
5．13　更多信息　149
第6章　多任务(非多线程)　151
6．1　OpenMP、Fortran2008、Intel TBB、Intel Cilk Plus、Intel MKL　152
6．1．1　需在协处理器上创建任务　153
6．1．2　线程池的重要性　154
6．2　OpenMP　154
6．2．1　并行处理模型　155
6．2．2　指导性语句　155
6．2．3　OpenMP上的有效控制　155
6．2．4　嵌套　156
6．3　Fortran 2008　157
6．3．1　DO CONCURRENT　157
6．3．2　DO CONCURRENT以及数据竞争　157
6．3．3　DO CONCURRENT定义　158
6．3．4　DO CONCURRENT对比FOR ALL　159
6．3．5　DO CONCURRENT对比OpenMP“Parallel”　160
6．4　Intel TBB　160
6．4．1　发展历史　162
6．4．2　使用TBB　163
6．4．3　parallel_for　163
6．4．4　blocked_range　164
6．4．5　Partitioners　164
6．4．6　Parallel_reduce　165
6．4．7　Parallel_invoke　166
6．4．8　C + +11相关　166
6．4．9　TBB总结　167
6．5　Cilk Plus　167
6．5．1　发展历史　169
6．5．2　从TBB借用组件　169
6．5．3　向TBB提供组件　170
6．5．4　关键字拼写　170
6．5．5　cilk_for　170
6．5．6　cilk_spawn与cilk_sync　171
6．5．7　Reducers(超对象)　172
6．5．8　数组表示法与基本函数　173
6．5．9　Cilk Plus总结　173
6．6　总结　173
6．7　更多信息　173
第7章　分载(Offload)　175
7．1　两种分载模式　176
7．2　分载执行与本地执行　176
7．2．1　非共享内存模式：使用分载编译器指导指令(Pragma)　177
7．2．2　共享虚拟内存模式：通过共享虚拟内存使用分载　177
7．2．3　Intel数学函数库(Intel MKL)自动分载　178
7．3　分载的语言扩展支持　178
7．3．1　分载的编译器选项和环境变量　179
7．3．2　分载的共享环境变量　181
7．3．3　针对多个协处理器分载　181
7．4　使用编译器指导指令分载　182
7．4．1　设置协处理器上的变量与函数　184
7．4．2　指针变量的内存分配与管理　186
7．4．3　时间优化：坚持分配的另外一个原因　193
7．4．4　对C/C++目标代码使用编译器指导指令　193
7．4．5　对Fortran语言中的目标代码使用指导指令　195
7．4．6　执行单一处理器时不创建代码　196
7．4．7　英特尔MIC架构预定义宏　197
7．4．8　Fortran数组　197
7．4．9　为部分C/C++数组分配内存　197
7．4．10　为部分Fortran数组分配内存　198
7．4．11　两变量间的数据转移　199
7．4．12　分载代码指令使用的限制条件　200
7．5　在共享虚拟存储器上使用分载　202
7．5．1　使用共享内存及共享变量　203
7．5．2　关于共享函数　204
7．5．3　共享内存管理函数　204
7．5．4　同步函数执行与异步函数执行：_Cilk_offload　204
7．5．5　共享变量和函数：_Cilk_shared　205
7．5．6　_Cilk_shared和Cilk_offload的使用规则　207
7．5．7　处理器与目标之间的内存同步　208
7．5．8　使用_Cilk_offload写入具体目标代码　208
7．5．9　使用虚拟内存分载代码的限制因素　209
7．5．10　使用共享虚拟内存时定义持久性数据　210
7．5．11　使用共享虚拟内存持久性数据的C++声明　212
7．6　关于异步计算　212
7．7　关于异步数据转移　213
7．8　应用目标属性至多个声明　218
7．8．1　分载使用的vec-report可选项　219
7．8．2　测量分载区域的时间与数据　219
7．8．3　_Offload_report　219
7．8．4　在分载代码中使用库　220
7．8．5　关于使用xiar和xild创建分载程序库　220
7．9　在协处理器上执行I/O文件　221
7．10　从分载代码中记录stdout和stderr　223
7．11　总结　223
7．12　更多信息　224
第8章　协处理器架构　225
8．1　Intel Xeon Phi协处理器产品家族　226
8．2　协处理器卡的设计　227
8．3　Intel Xeon Phi协处理器芯片概述　228
8．4　协处理器核架构　229
8．5　指令集和多线程处理　230
8．6　缓存组织和内存访问　232
8．7　预取　234
8．8　向量处理单元架构　234
8．9　协处理器PCI-E系统接口和DMA　239
8．10　协处理器电源管理　241
8．11　可靠性、可用性和可维护性(RAS)　244
8．12　协处理器系统管理控制器(SMC)　245
8．12．1　传感器　246
8．12．2　散热设计监控和控制　246
8．12．3　风扇控制　247
8．12．4　潜在应用影响　247
8．13　基准测试　247
8．14　总结　248
8．15　更多信息　248
第9章　协处理器系统软件　251
9．1　协处理器软件体系架构概述　251
9．1．1　对称性　253
9．1．2　Ring级别：用户态和内核态　253
9．2　协处理器编程模型和选项　253
9．2．1　宽度与深度　254
9．2．2　MPI编程模型　255
9．3　协处理器软件体系架构组件　257
9．4　英特尔众核平台软件栈　258
9．4．1　MYO： Mine Yours Ours　258
9．4．2　COI：Coprocessor Offload Infrastructure　259
9．4．3　SCIF：Symmetric Communications Interface　259
9．4．4　Virtual networking(NetDev)、TCP/IP及sockets　259
9．4．5　协处理器系统管理　260
9．4．6　面向MPI应用程序的协处理器组件　262
9．5　Linux对Intel Xeon Phi协处理器的支持　267
9．6　优化内存分配的性能　268
9．6．1　控制2MB内存页的数量　268
9．6．2　监控协处理器上2MB内存页的数量　269
9．6．3　分配2MB内存页的方法示例　269
9．7　总结　270
9．8　更多信息　271
……
第10章　协处理器的Linux系统　273
第11章　数学库　303
第12章　MPI　321
第13章　采样和计时　341
第14章　总结　363
术语表　365