跨数据中心机器学习：赋能多云智能数算融合

第1章 跨数据中心机器学习概述 1
1.1 分布式机器学习 5
1.1.1 基本概念 5
1.1.2 国内外发展现状 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信优化技术 32
1.2 跨数据中心分布式机器学习 39
1.2.1 产业发展背景及需求 39
1.2.2 基本架构 41
1.2.3 面临的关键挑战 43
1.3 本书的章节结构 46
本章参考文献 47
第2章 高效通信架构 58
2.1 分层参数服务器通信架构 59
2.1.1 架构设计方案 59
2.1.2 运行流程与通信模型 61
2.1.3 主要操作原语 64
2.2 部署模式与适用场景 65
2.3 实验与性能评估 67
2.4 本章小结 70
本章参考文献 70
第3章 同步优化算法 72
3.1 系统模型与基础同步优化算法 73
3.1.1 系统模型 73
3.1.2 全同步通信算法 73
3.1.3 实验与性能评估 76
3.2 面向受限域间通信资源的同步算法 78
3.2.1 研究现状 79
3.2.2 内同步累积的低频同步通信算法 80
3.2.3 实验与性能评估 83
3.3 面向异构计算与通信资源的同步算法 84
3.3.1 研究现状 85
3.3.2 延迟补偿的混合同步算法 88
3.3.3 迭代次数自适应的同步算法 91
3.3.4 实验与性能评估 109
3.4 本章小结 119
本章参考文献 120
第4章 压缩传输机制 123
4.1 稀疏化与量化基本概念 124
4.2 双向梯度稀疏化技术 127
4.2.1 梯度稀疏化技术 127
4.2.2 稀疏同步技术 128
4.2.3 冗余梯度修正技术 129
4.3 混合精度传输技术 132
4.4 实验与性能评估 133
4.5 本章小结 139
本章参考文献 139
第5章 梯度传输协议 142
5.1 研究动机 143
5.2 协议设计及其挑战 145
5.3 近似梯度分类算法 146
5.3.1 算法设计 146
5.3.2 分类阈值动态衰减技术 149
5.4 差异化梯度传输协议的设计 149
5.4.1 基于优先级的差异化传输 150
5.4.2 差异化接收方法 151
5.5 实现和部署 152
5.5.1 DGT通信中间件的功能实现 152
5.5.2 DGT通信中间件的跨数据中心部署 154
5.6 实验与性能评估 155
5.7 本章小结 165
本章参考文献 165
第6章 流量传送调度 168
6.1 基于动态通信调度的通信覆盖机制 170
6.1.1 研究动机 170
6.1.2 问题建模 173
6.1.3 通信覆盖机制设计 175
6.1.4 实现和部署 183
6.1.5 实验与性能评估 185
6.2 光广域网中的在线流量调度 192
6.2.1 研究动机 194
6.2.2 任务内调度 195
6.2.3 任务间调度 199
6.2.4 算法性能分析 203
6.2.5 仿真结果与分析 205
6.3 本章小结 211
本章参考文献 211
第7章 异构数据优化算法 214
7.1 研究现状 216
7.2 系统模型 220
7.3 联邦组同步算法设计与实现 221
7.3.1 算法设计动机 221
7.3.2 算法设计与实现 223
7.4 组节点选择算法设计与实现 226
7.4.1 问题建模与分析 226
7.4.2 算法设计与实现 228
7.5 算法的收敛性与效率分析 231
7.5.1 算法收敛性分析 232
7.5.2 算法效率分析 233
7.6 实验与性能评估 235
7.7 本章小结 245
本章参考文献 245
第8章 总结与展望 249
附录A 缩略语对照表 250