云计算与大数据技术

目录
第1章云计算概论

1.1什么是云计算

1.2云计算的产生背景

1.3云计算的发展历史

1.4如何学好云计算

习题

第2章云计算基础

2.1分布式计算

2.2云计算的基本概念

2.3云计算的关键技术

2.3.1分布式海量数据存储

2.3.2虚拟化技术

2.3.3云平台技术

2.3.4并行编程技术

2.3.5数据管理技术

2.4云交付模型

2.4.1软件即服务

2.4.2平台即服务

2.4.3基础设施即服务

2.4.4基本云交付模型的比较

2.4.5容器即服务

2.5云部署模式

2.5.1公有云

2.5.2私有云

2.5.3混合云

2.6云计算的优势与挑战

2.7典型云应用

2.7.1云存储

2.7.2云服务

2.7.3云物联

2.8云计算与大数据

习题

第3章虚拟化

3.1虚拟化简介

3.1.1什么是虚拟化

3.1.2虚拟化的发展历史

3.1.3虚拟化带来的好处

3.2虚拟化的分类

3.2.1服务器虚拟化

3.2.2网络虚拟化

3.2.3存储虚拟化

3.2.4应用虚拟化

3.2.5技术比较

3.3系统虚拟化

3.4虚拟化与云计算

3.5开源技术

3.5.1Xen

3.5.2KVM

3.5.3OpenVZ

3.6虚拟化未来发展趋势

习题

第4章云计算的应用

4.1概述

4.2Google公司的云计算平台与应用

4.2.1MapReduce分布式编程环境

4.2.2分布式大规模数据库管理系统BigTable

4.2.3Google的云应用

4.3亚马逊的弹性计算云

4.3.1开放的服务

4.3.2灵活的工作模式

4.3.3总结

4.4IBM蓝云云计算平台

4.4.1蓝云云计算平台中的虚拟化

4.4.2蓝云云计算平台中的存储结构

4.5清华大学透明计算平台

4.6阿里云

4.6.1阿里云简介

4.6.2阿里云的发展过程

4.6.3阿里云的主要产品

4.7Microsoft Azure

4.7.1Microsoft Azure简介

4.7.2Microsoft Azure架构

4.7.3Microsoft Azure服务平台

4.7.4开发步骤

习题

第5章大数据概念和发展背景

5.1什么是大数据

5.2大数据的特点

5.3大数据发展

5.4大数据应用

习题

第6章大数据系统架构概述

6.1总体架构概述

6.1.1总体架构设计原则

6.1.2总体架构参考模型

6.2运行架构概述

6.2.1物理架构

6.2.2集成架构

6.2.3安全架构

6.3主流大数据系统厂商

6.3.1Cloudera

6.3.2Hortonworks

6.3.3Amazon

6.3.4Google

6.3.5微软

6.3.6阿里云数加平台

习题

第7章分布式通信与协同

7.1数据编码传输

7.1.1数据编码概述

7.1.2LZSS算法

7.1.3Snappy压缩库

7.2分布式通信系统

7.2.1远程过程调用

7.2.2消息队列

7.2.3应用层多播通信

7.2.4Hadoop IPC应用

7.3分布式协同系统

7.3.1Chubby锁服务

7.3.2ZooKeeper

7.3.3ZooKeeper在HDFS高可用中使用

习题

第8章大数据存储

8.1大数据存储技术发展

8.2海量数据存储的关键技术

8.2.1数据分片与路由

8.2.2数据复制与一致性

8.3重要数据结构和算法

8.3.1Bloom Filter

8.3.2LSM树

8.3.3Merkle哈希树

8.3.4Cuckoo哈希

8.4分布式文件系统

8.4.1文件存储格式

8.4.2Google文件系统

8.4.3HDFS

8.5分布式数据库NoSQL

8.5.1NoSQL数据库概述

8.5.2KV数据库

8.5.3列式数据库

8.5.4图数据库

8.5.5文档数据库

8.6HBase数据库搭建与使用

8.6.1HBase伪分布式运行

8.6.2HBase分布式运行

8.7大数据存储技术趋势

习题

第9章分布式处理

9.1CPU多核和POSIX Thread

9.2MPI并行计算框架

9.3Hadoop MapReduce

9.4Spark

9.5数据处理技术发展

习题

第10章Hadoop MapReduce解析

10.1Hadoop MapReduce架构

10.2Hadoop MapReduce与高性能计算、网格计算的区别

10.3MapReduce工作机制

10.3.1Map

10.3.2Reduce

10.3.3Combine

10.3.4Shuffle

10.3.5Speculative Task

10.3.6任务容错

10.4应用案例

10.4.1WordCount

10.4.2WordMean

10.4.3Grep

10.5MapReduce的缺陷与不足

习题

第11章Spark解析

11.1Spark RDD

11.2Spark与MapReduce对比

11.3Spark工作机制

11.3.1DAG工作图

11.3.2Partition

11.3.3Lineage容错方法

11.3.4内存管理

11.3.5数据持久化

11.4数据读取

11.4.1HDFS

11.4.2Amazon S3

11.4.3HBase

11.5应用案例

11.5.1日志挖掘

11.5.2判别西瓜好坏

11.6Spark发展趋势

习题

第12章流计算

12.1流计算概述

12.2流计算与批处理系统对比

12.3Storm流计算系统

12.4Samza流计算系统

12.5集群日志文件实时分析

12.6流计算发展趋势

习题

第13章集群资源管理与调度

13.1集群资源统一管理系统

13.1.1集群资源管理概述

13.1.2Apache YARN

13.1.3Apache Mesos

13.1.4Google Omega

13.2资源管理模型

13.2.1基于slot的资源表示模型

13.2.2基于最大、最小公平原则的资源分配模型

13.3资源调度策略

13.3.1调度策略概述

13.3.2Capacity Scheduler调度

13.3.3Fair Scheduler调度

13.4YARN上运行计算框架

13.4.1MapReduce on YARN

13.4.2Spark on YARN

13.4.3YARN程序设计

习题

第14章综合实践： 在OpenStack平台上搭建Hadoop并进行数据分析

14.1OpenStack简介

14.2OpenStack的安装及配置

14.2.1OpenStack安装准备

14.2.2OpenStack在线安装

14.2.3搭建OpenStack中的虚拟机

14.3大数据环境安装

14.3.1Java安装

14.3.2Hadoop安装

14.4大数据分析案例

14.4.1日志分析

14.4.2电商购买记录分析

14.4.3交通流量分析

参考文献