实时数据处理技术

第1章 绪论
1．1 实时数据处理
1．1．1 大数据中的实时业务场景
1．1．2 大数据实时数据处理解决方案
1．1．3 大数据实时数据处理技术框架
1．2 Spark实时数据处理
1．2．1 Spark技术简介
1．2．2 Spark技术的发展历程
1．2．3 Spark技术模块
1．2．4 Spark技术流式处理模块SparkStreaming
1．3 本章小结
第2章 Scala语言应用
2．1 从-个项目开始
2．2 需求分析
2．3 Scala安装及使用
2．3．1 Scala语言简介
2．3．2 Scala的安装与环境配置
2．3．3 Scala开发工具的安装与配置
2．4 Scala语言基础
2．4．1 数据类型
2．4．2 常量与变量的定义
2．4．3 流程控制
2．5 Scala方法与函数
2．5．1 递归方法
2．5．2 有默认值方法
2．5．3 可变长参数方法
2．5．4 匿名函数
2．5．5 嵌套方法
2．5．6 偏应用表达式
2．5．7 高阶函数
2．5．8 Scala函数案例
2．6 Scala集合
2．6．1 数组
2．6．2 liSt
2．6．3 Set
2．6．4 map
2．6．5 tuple
2．6．6 Scala集合案例
2．7 本章小结
第3章 SparkStreaming
3．1 SparkStreaming初始化
3．1．1 SparkStreaming简介
3．1．2 SparkStreaming的特点
3．1．3 SparkStreaming读取数据原理
3．2 SparkStreaming处理数据案例
3．2．1 启动LinuxSocket服务
3．2．2 生产数据
3．2．3 SparkStreaming读取Socket数据
3．2．4 注意事项
3．3 SparkStreaming算子简介
3．4 Transformations类算子
3．4．1 updateStateByKey算子案例
3．4．2 transform算子案例
3．4．3 reduceByKeyAndWindow算子案例
3．5 OutputOperator类算子
3．5．1 SparkStreaming监控目录数据案例
3．5．2 print算子案例
3．5．3 saveAsTextFile算子案例
3．6 本章小结
第4章 SparkSQL
4．1 SparkSQL概述
4．1．1 SparkSQL演变过程
4．1．2 SparkSQL数据类型
4．2 SparkSQL数据源
4．2．1 JSON数据源及案例
4．2．2 DataSet数据源及案例
4．2．3 RDD数据源及案例
4．2．4 Parquet数据源及案例
4．2．5 MySQL数据源及案例
4．3 SparkonHive配置
4．3．1 HiVeOnSpark
4．3．2 SparkonHive
4．3．3 安装和配置Hive
4．3．4 SparkonHive配置
4．3．5 SparkShell验证
4．3．6 SparkonHive速度测试案例
4．3．7 SparkonHive案例分析
4．4 本章小结
第5章 数据整合
5．1 Flume与Kafka的整合使用
5．1．1 Flume日志采集系统
5．1．2 Flume采集数据案例
5．1．3 Kafka分布式消息系统
5．1．4 Flume与Kafka整合配置
5．2 SparkStreaming与Kafka整合
5．2．1 Spark与Kafka版本
5．2．2 SparkStreaming与Kafka整合
5．2．3 参数设置
5．2．4 管理消费者offset方式
5．3 项目实战
5．3．1 Flume配置文件
5．3．2 创建MySQL数据库表
5．3．3 编写业务核心代码
5．3．4 任务提交
5．3．5 查看结果
5．4 本章小结
第6章 Spark优化
6．1 资源调优
6．1．1 资源调优简介
6．1．2 资源调优方式
6．1．3 资源调优案例
6．2 增加并行度
6．2．1 增加并行度简介
6．2．2 增加并行度方式
6．2．3 增加并行度案例
6．3 代码调优
6．3．1 代码调优简介
6．3．2 代码调优方式
6．3．3 代码调优案例
6．4 数据倾斜的处理
6．4．1 数据倾斜简介
6．4．2 处理数据倾斜的方式
6．4．3 数据倾斜案例
6．5 本章小结
参考文献