高性能计算系统与大数据分析

译者序

序

前言

第1章　IT领域的变革以及未来趋势1

1.1　引言1

1.2　新兴的IT趋势1

1.3　数字化实体的实现与发展4

1.4　物联网/万物互联5

1.5　对社交媒体网站的广泛采用7

1.6　预测性、规范性、个性化分析时代7

1.7　用于大数据及分析的Apache Hadoop11

1.8　大数据、大洞见、大动作13

1.9　结论15

1.10　习题15

第2章　大数据/快速数据分析中的高性能技术16

2.1　引言16

2.2　大数据分析学科的出现17

2.3　大数据的战略意义18

2.4　大数据分析的挑战19

2.5　高性能计算范型19

2.6　通过并行实现高性能的方法21

2.7　集群计算22

2.8　网格计算24

2.9　云计算27

2.10　异构计算29

2.11　用于高性能计算的大型机31

2.12　用于大数据分析的超级计算32

2.13　用于大数据分析的设备32

2.13.1　用于大规模数据分析的数据仓库设备33

2.13.2　in-memory大数据分析35

2.13.3　大数据的in-database处理37

2.13.4　基于Hadoop的大数据设备38

2.13.5　高性能大数据存储设备41

2.14　结论42

2.15　习题42

参考文献43

第3章　大数据与快速数据分析对高性能计算的渴望44

3.1　引言44

3.2　重新审视大数据分析范型45

3.3　大数据和快速数据的含义47

3.4　用于精确、预测性、规范性洞见的新兴数据源48

3.5　大数据分析为何不俗50

3.6　传统的和新一代的数据分析案例研究51

3.7　为何采用基于云的大数据分析55

3.8　大数据分析：主要处理步骤57

3.9　实时分析58

3.10　流分析62

3.11　传感器分析63

3.11.1　大数据分析与高性能计算的同步：附加价值63

3.12　结论64

3.13　习题64

第4章　高性能大数据分析的网络基础设施65

4.1　引言65

4.2　当前网络基础设施的局限66

4.3　高性能大数据分析网络基础设施的设计方法68

4.3.1　网络虚拟化68

4.3.2　软件定义网络76

4.3.3　网络功能虚拟化78

4.4　用于传输大数据的广域网优化79

4.5　结论81

4.6　习题81

参考文献81

第5章　高性能大数据分析的存储基础设施82

5.1　引言82

5.2　直连式存储83

5.2.1　DAS的缺点84

5.3　存储区域网络85

5.3.1　块级访问85

5.3.2　文件级访问85

5.3.3　对象级访问85

5.4　保存大数据的存储基础设施需求86

5.5　光纤通道存储区域网络87

5.6　互联网协议存储区域网络88

5.6.1　以太网光纤通道88

5.7　网络附属存储89

5.8　用于高性能大数据分析的流行文件系统89

5.8.1　Google文件系统89

5.8.2　Hadoop分布式文件系统91

5.8.3　Panasas92

5.8.4　Luster文件系统94

5.9　云存储简介96

5.9.1　云存储系统的架构模型96

5.9.2　存储虚拟化98

5.9.3　云存储中使用的存储优化技术100

5.9.4　云存储的优点101

5.10　结论101

5.11　习题101

参考文献102

进一步阅读102

第6章　使用高性能计算进行实时分析103

6.1　引言103

6.2　支持实时分析的技术103

6.2.1　in-memory处理103

6.2.2　in-database分析105

6.3　大规模在线分析106

6.4　通用并行文件系统107

6.4.1　GPFS用例107

6.5　GPFS客户案例研究111

6.5.1　广播公司：VRT111

6.5.2　石油公司从Lustre迁移到GPFS113

6.6　GPFS：关键的区别113

6.6.1　基于GPFS的解决方案114

6.7　机器数据分析114

6.7.1　Splunk114

6.8　运营分析115

6.8.1　运营分析中的技术115

6.8.2　用例以及运营分析产品116

6.8.3　其他IBM运营分析产品117

6.9　结论117

6.10　习题118

第7章　高性能计算范型119

7.1　引言119

7.2　为何还需要大型机119

7.3　大型机中HPC是如何演化的120

7.3.1　成本：HPC的一个重要因素120

7.3.2　云计算中的集中式HPC120

7.3.3　集中式HPC的要求121

7.4　HPC远程模拟121

7.5　使用HPC的大型机解决方案121

7.5.1　智能大型机网格121

7.5.2　IMG的工作原理122

7.5.3　IMG架构122

7.6　架构模型125

7.6.1　具有共享磁盘的存储服务器125

7.6.2　没有共享磁盘的存储服务器125

7.6.3　无存储服务器的通信网络125

7.7　对称多处理126

7.7.1　什么是SMP126

7.7.2　SMP与集群方法126

7.7.3　SMP是否真的重要126

7.7.4　线程模型127

7.7.5　NumaConnect技术127

7.8　用于HPC的虚拟化127

7.9　大型机方面的创新127

7.10　FICON大型机接口128

7.11　大型机对手机的支持129

7.12　Windows高性能计算129

7.13　结论130

7.14　习题131

第8章　in-database处理与in-memory分析132

8.1　引言132

8.1.1　分析工作负载与事务工作负载的对比132

8.1.2　分析工作负载的演化133

8.1.3　传统分析平台135

8.2　in-database分析135

8.2.1　架构137

8.2.2　优点和局限138

8.2.3　代表性的系统138

8.3　in-memory分析140

8.3.1　架构141

8.3.2　优点和局限142

8.3.3　代表性的系统142

8.4　分析设备145

8.4.1　Oracle Exalytics145

8.4.2　IBM Netezza145

8.5　结论147

8.6　习题147

参考文献148

进一步阅读148

第9章　大数据/快速数据分析中的高性能集成系统、数据库和数据仓库149

9.1　引言149

9.2　下一代IT基础设施和平台的关键特征150
......