通用图形处理器设计：GPGPU编程模型与架构原理

第1章 GPGPU概述
1.1 GPGPU与并行计算机
1.1.1 并行体系结构
1.1.2 GPU与CPU体系结构对比
1.2 GPGPU发展概述
1.2.1 GPU
1.2.2 从GPU到GPGPU
1.3 现代GPGPU产品
1.3.1 NVIDIA GPGPU
1.3.2 AMD GPGPU
1.3.3 Intel GPGPU
1.3.4 其他GPU
参考文献
第2章 GPGPU编程模型
2.1 计算模型
2.1.1 数据并行和线程
2.1.2 主机-设备端和内核函数
2.2 线程模型
2.2.1 线程组织与数据索引
2.2.2 线程分配与执行
2.2.3 线程模型小结
2.3 存储模型
2.3.1 多样的存储器类型
2.3.2 存储资源与线程并行度
2.4 线程同步与通信模型
2.4.1 同步机制
2.4.2 协作组
2.4.3 流与事件
2.4.4 原子操作
2.5 CUDA指令集概述
2.5.1 中间指令PTX
2.5.2 机器指令SASS
参考文献
第3章 GPGPU控制核心架构
3.1 GPGPU架构概述
3.1.1 CPU-GPGPU异构计算系统
3.1.2 GPGPU架构
3.1.3 扩展讨论：架构特点和局限性
3.2 GPGPU指令流水线
3.2.1 前段：取指与译码
3.2.2 中段：调度与发射
3.2.3 后段：执行与写回
3.2.4 扩展讨论：线程束指令流水线
3.3 线程分支
3.3.1 谓词寄存器
3.3.2 SIMT堆栈
3.3.3 分支屏障
3.3.4 扩展讨论：更高效的线程分支执行
3.4 线程束调度
3.4.1 线程束并行、调度与发射
3.4.2 基本的调度策略
3.4.3 扩展讨论：线程束调度策略优化
3.5 记分牌
3.5.1 数据相关性
3.5.2 GPGPU中的记分牌
3.5.3 扩展讨论：记分牌设计优化
3.6 线程块分配与调度
3.6.1 线程块并行、分配与调度
3.6.2 基本的线程块分配与调度策略
3.6.3 扩展讨论：线程块分配与调度策略优化
参考文献
第4章 GPGPU存储架构
4.1 GPGPU存储系统概述
4.1.1 CPU的层次化存储
4.1.2 GPGPU的存储层次
4.2 寄存器文件
4.2.1 并行多板块结构
4.2.2 板块冲突和操作数收集器
4.2.3 操作数并行访问时的相关性冒险
4.2.4 扩展讨论：寄存器文件的优化设计
4.3 可编程多处理器内的存储系统
4.3.1 数据通路概述
4.3.2 共享存储器访问
4.3.3 L1高速缓存访问
4.3.4 纹理缓存
4.3.5 扩展讨论：片上存储系统的优化设计
4.4 可编程多处理器外的存储系统
4.4.1 存储分区单元
4.4.2 L2缓存
4.4.3 帧缓存单元
4.4.4 全局存储器
4.5 存储架构的优化设计
4.5.1 片上存储资源融合
4.5.2 技术对比与小结
参考文献
第5章 GPGPU运算单元架构
5.1 数值的表示
5.1.1 整型数据
5.1.2 浮点数据
5.1.3 扩展讨论：多样的浮点数据表示
5.2 GPGPU的运算单元
5.2.1 整型运算单元
5.2.2 浮点运算单元
5.2.3 特殊功能单元
5.2.4 张量核心单元
5.3 GPGPU的运算单元架构
5.3.1 运算单元的组织和峰值算力
5.3.2 实际的指令吞吐率
5.3.3 扩展讨论：脉动阵列结构
参考文献
第6章 GPGPU张量核心架构
6.1 深度神经网络的计算
6.1.1 深度神经网络的计算特征
6.1.2 卷积运算方式
6.2 张量核心架构
6.2.1 张量核心架构特征概述
6.2.2 Volta架构中的张量核心
6.2.3 张量核心的发展
6.2.4 扩展讨论：张量核心对稀疏的支持
6.3 神经网络计算的软件支持
6.4 深度学习评价基准——MLPerf
参考文献
第7章 总结与展望
7.1 本书内容总结
7.2 GPGPU发展展望