Hadoop大数据处理与分析教程（慕课版）

第1章 绪论 1
1．1　认识大数据　2
1．1．1　大数据的定义　2
1．1．2　大数据的特点　2
1．1．3　大数据行业应用　3
1．1．4　Hadoop与大数据　5
1．1．5　其他大数据处理平台　5
1．1．6　大数据人才　7
1．2　什么是Hadoop　8
1．2．1　Hadoop简介　8
1．2．2　Hadoop的发展历史　8
1．2．3　Hadoop的特点　9
1．3　Hadoop核心　10
1．3．1　分布式文件系统—HDFS　11
1．3．2　分布式计算框架—MapReduce　13
1．4　Hadoop常用组件　14
1．5　Hadoop在国内外的应用情况　16
小结　16
习题　16
第2章　Linux操作系统的安装　17
2．1　VirtualBox虚拟机的安装　18
2．1．1　VirtualBox的下载和安装　18
2．1．2　设置VirtualBox存储文件夹　22
2．1．3　在VirtualBox中创建虚拟机　24
2．2　Linux操作系统简介　28
2．2．1　概述　28
2．2．2　特点　28
2．2．3　Linux操作系统的组成　29
2．2．4　Linux基本命令　31
2．2．5　Linux操作系统的版本　34
2．3　Linux操作系统（Ubuntu）的安装　34
2．3．1　Linux操作系统（Ubuntu）的
下载　34
2．3．2　安装Ubuntu　36
2．3．3　启动Ubuntu　41
2．3．4　设置终端　42
2．3．5　设置共享剪贴板　45
2．3．6　设置共享文件夹　49
小结　52
习题　52
第3章　Hadoop的伪分布式
安装　53
3．1　JDK的检查与安装　54
3．1．1　检查是否安装JDK　54
3．1．2　安装JDK　54
3．2　配置SSH无密码登录　58
3．3　Hadoop的下载与安装　61
3．3．1　Hadoop的安装模式　61
3．3．2　Hadoop的下载　62
3．3．3　Hadoop的安装　63
3．3．4　配置Hadoop前准备　65
3．4　Hadoop环境配置　66
3．4．1　设置Hadoop环境变量　66
3．4．2　修改Hadoop配置文件　68
3．4．3　创建并格式化文件系统　73
3．5　启动Hadoop　73
3．6　查看HDFS Web页面　75
3．7　查看YARN Web页面　76
小结　77
习题　77
第4章　Hadoop集群的搭建及
配置　78
4．1　Hadoop集群中节点角色　79
4．2　设置集群前的准备工作　80
4．2．1　集群中节点的规划　80
4．2．2　设置网络　81
4．3　设置服务器　83
4．3．1　设置Master服务器　83
4．3．2　复制虚拟机　89
4．3．3　设置Slave服务器　92
4．3．4　设置Master服务器到Slave服务器的SSH无密码登　95
4．3．5　格式化文件系统　96
4．4　启动和关闭Hadoop集群　97
4．4．1　启动和关闭Hadoop集群　97
4．4．2　验证Hadoop集群是否启动成功　98
4．5　查看Hadoop集群的基本信息　99
4．5．1　查看集群的HDFS信息　99
4．5．2　查看集群的YARN信息　101
4．6　在Hadoop集群中运行程序　102
小结　103
习题　103
第5章　Hadoop HDFS命令　104
5．1　HDFS常用命令总览　105
5．2　创建与查看HDFS目录　105
5．2．1　创建HDFS目录　105
5．2．2　查看HDFS目录　106
5．3　本地计算机和HDFS之间的文件
复制　107
5．3．1　从本地计算机复制文件到
HDFS　107
5．3．2　将HDFS上的文件复制到本地
计算机　110
5．4　复制与删除HDFS文件　112
5．5　查看HDFS文件内容　113
小结　114
习题　114
第6章　MapReduce编程
入门　115
6．1　认识MapReduce　116
6．1．1　MapReduce的编程思想　116
6．1．2　MapReduce的运行环境　118
6．2　使用Eclipse创建MapReduce工程　122
6．2．1　下载与安装Eclipse　122
6．2．2　配置MapReduce环境　127
6．3　第一个MapReduce程序：
WordCount　131
6．3．1　WordCount的设计思路　131
6．3．2　编写WordCount　132
6．3．3　分析WordCount程序　140
6．3．4　运行程序　142
小结　144
习题　144
第7章　Hive　145
7．1　Hive简介　146
7．1．1　什么是Hive　146
7．1．2　为什么使用Hive　146
7．1．3　Hive的体系结构　146
7．1．4　Hive与关系型数据库的区别　147
7．2　安装元数据库　148
7．2．1　下载和安装MySQL数据库　148
7．2．2　登录MySQL数据库　153
7．2．3　使用MySQL数据库　153
7．3　安装与配置Hive　156
7．3．1　准备工作　156
7．3．2　下载Hive　156
7．3．3　安装Hive　157
7．3．4　配置Hive　158
7．3．5　启动并验证Hive　161
7．4　数据类型和存储格式　162
7．4．1　基本数据类型　162
7．4．2　复杂数据类型　162
7．4．3　存储格式　163
7．4．4　数据格式　163
7．5　Hive中的数据定义　164
7．5．1　操作数据库　164
7．5．2　查看与创建数据表　166
7．5．3　Hive中其他的数据表　169
7．5．4　修改数据表　170
7．5．5　删除数据表　171
7．6　Hive中的数据操作　171
7．6．1　加载数据　171
7．6．2　插入数据　174
7．6．3　导出数据　178
小结　179
习题　179
第8章　Sqoop　180
8．1　安装并配置Sqoop　181
8．1．1　下载并安装Sqoop　181
8．1．2　配置Sqoop　183
8．1．3　验证Sqoop　185
8．1．4　测试Sqoop与MySQL的连接　185
8．2　Sqoop命令　186
8．3　Sqoop导入　188
8．3．1　使用Sqoop把MySQL数据导入HDFS　189
8．3．2　使用Sqoop把MySQL数据导入Hive　191
8．3．3　有选择地导入数据　192
8．4　Sqoop导出　193
8．4．1　使用Sqoop将Hadoop数据导出到MySQL　194
8．4．2　使用Sqoop将Hive数据导出到MySQL　195
小结　197
习题　197

第9章　HBase　198
9．1　ZooKeeper集群的安装与配置　199
9．1．1　ZooKeeper简介　199
9．1．2　ZooKeeper安装　199
9．1．3　配置ZooKeeper集群　201
9．1．4　启动ZooKeeper集群　204
9．2　HBase集群的安装与配置　206
9．2．1　下载并安装HBase　206
9．2．2　配置HBase　207
9．2．3　启动并验证HBase　211
9．3　HBase的基本应用　212
9．3．1　创建表　212
9．3．2　插入数据　213
9．3．3　扫描全表的数据　213
9．3．4　获取某一行的数据　213
9．3．5　删除表　213
小结　213
习题　214
第10章　Spark的介绍与
安装　215
10．1　Spark概述　216
10．1．1　Spark系统架构　216
10．1．2　Spark运行流程　217
10．2　安装与配置Scala　218
10．2．1　下载Scala　218
10．2．2　安装Scala　219
10．2．3　启动与应用Scala　220
10．3　安装与配置Spark　222
10．3．1　安装模式　222
10．3．2　安装Spark　222
10．3．3　配置环境变量　224
10．3．4　启动并验证Spark　226
10．4　运行Spark程序　227
小结　228
习题　228
第11章　综合案例—网络爬虫大数据分析　229
11．1　网络爬虫概述　230
11．1．1　网络爬虫　230
11．1．2　网络爬虫—快手爬票　230
11．1．3　开发语言选择　231
11．2　搭建Python开发环境　231
11．2．1　开发环境概述　231
11．2．2　安装Python　232
11．3　搭建Qt环境　235
11．3．1　安装Qt　235
11．3．2　安装PyCharm开发工具　237
11．4 主窗体设计　244
11．4．1　Qt拖曳控件　244
11．4．2　代码调试细节　248
11．5　分析网页请求参数　251
11．6　下载站名文件　253
11．7　车票信息的请求与显示　255
11．7．1　发送与分析车票信息的查询
请求　255
11．7．2　主窗体中显示查票信息　258
11．8　Hadoop中的网络爬虫　261
小结　262
习题　262