Spark大数据实时分析实战

项目一 初识Spark技术
任务1．1 数据处理系统
1．1．1 数据存储技术
1．1．2 数据分析技术
1．1．3 批数据和实时数据
1．1．4 数据价值挖掘
任务1．2 实时数据处理
1．2．1 实时数据的价值
1．2．2 实时数据处理技术
1．2．3 Spark实时数据处理
项目二 Spark集群的构建与安装
任务2．1 Spark集群搭建
2．1．1 平台选择
2．1．2 软件选择
2．1．3 Spark集群构建流程
任务2．2 Spark集群规划
2．2．1 Spark集群节点划分
2．2．2 软件要求
2．2．3 网络拓扑结构规划
任务2．3 Spark安装准备
2．3．1 JDK安装
2．3．2 节点间的配置
2．3．3 Spark安装包下载
任务2．4 Spark集群搭建
2．4．1 配置Master节点
2．4．2 配置Worker节点
2．4．3 分发安装包
2．4．4 启动集群
任务2．5 验证Spark
2．5．1 验证Spark进程
2．5．2 验证WEBUI界面
2．5．3 验证集群功能
任务2．6 Spark客户端搭建
2．6．1 客户端介绍
2．6．2 客户端搭建及使用
项目三 Spark基于Yarn搭建
任务3．1 基于Yarn构建介绍
3．1．1 基于Yarn搭建环境配置
3．1．2 Hadoop集群
3．1．3 启动Hadoop集群
3．1．4 验证Hadoop集群节点
任务3．2 基于Yam搭建
3．2．1 节点划分配置
3．2．2 配置Spark on Yarn
3．2．3 验证Spark on Yarn
项目四 日志服务器搭建
任务4．1 日志服务器配置
4．1．1 HDFS配置
4．1．2 Spark配置
4．1．3 启动日志服务器
4．1．4 查看日志
任务4．2 验证日志服务器
4．2．1 Spark-Shell介绍
4．2．2 查看运行日志
4．2．3 启动日志服务器
4．2．4 查看日志
……
项目五 Kafka集群的构建与安装
项目六 Kafka集群测试