深入理解Hive：从基础到高阶

第1篇  准    备
第1章  大数据时代的查询引擎 2
1.1  大数据初探 2
1.1.1  数据处理的引擎 2
1.1.2  计算框架的数据处理机制 3
1.2  大数据处理的引擎之选 7
1.2.1  大数据时代的利器 7
1.2.2  揭秘Hadoop的核心要素 8
1.3  数据仓库Hive的重要性 9
1.3.1  Hive与MapReduce 10
1.3.2  解读Hive的不足 10
1.4  快速解锁Hive核心 11
1.4.1  数据仓库 11
1.4.2  数据单元 12
1.5  Hive的设计理念 14
1.5.1  设计初衷 14
1.5.2  解读Hive的特性 14
1.5.3  使用场景 15
1.6  本章小结 16
第2章  快速搭建Hive学习环境 17
2.1  基础环境安装与配置的完整步骤 17
2.1.1  基础软件下载 17
2.1.2  实例：Linux操作系统的安装与配置 18
2.1.3  实例：SSH的安装与配置 20
2.1.4  实例：Java运行环境的安装与配置 21
2.1.5  实例：安装与配置ZooKeeper 23
2.1.6  实例：Hadoop的安装与配置 27
2.2  安装Hive 41
2.2.1  实例：单机模式部署 41
2.2.2  实例：分布式模式部署 44
2.3  Hive在线编辑器安装指南 50
2.3.1  实例：在Linux系统环境编译Hue源代码并获得安装包 50
2.3.2  实例：安装Hue安装包 51
2.4  学习Hive的建议 54
2.4.1  看透本书理论，模仿实战例子 54
2.4.2  利用编程工具自主学习 54
2.4.3  建立高阶的逻辑思维模式 55
2.4.4  控制代码版本，降低犯错的代价 56
2.4.5  获取最新、最全的学习资料 57
2.4.6  学会自己发现和解决问题 57
2.4.7  善于提问，成功一半 58
2.4.8  积累总结，举一反三 59
2.5  本章小结 60
2.6  习题 60
第2篇  入    门
第3章  实操理解Hive的数据类型和存储方式 62
3.1  掌握Hive的基本数据类型 62
3.1.1  字段类型 62
3.1.2  实例：快速构建包含常用类型的表 64
3.1.3  实例：NULL值的处理和使用 68
3.1.4  允许隐式转换 70
3.2  Hive文件格式应用实践 70
3.2.1  TextFile 70
3.2.2  SequenceFile 72
3.2.3  RCFile 73
3.2.4  AvroFile 74
3.2.5  ORCFile 77
3.2.6  Parquet 79
3.2.7  选择不同的文件类型 82
3.3  存储方式应用实践 82
3.3.1  数据压缩存储 83
3.3.2  实例：压缩数据大小和原始数据大小对比 85
3.4  本章小结 89
3.5  习题 89
第4章  Hive数据管理与查询技巧 90
4.1  了解Hive命令 90
4.1.1  Hive命令列表 90
4.1.2  Hive命令分类 91
4.2  选择不同的客户端执行Hive命令 95
4.2.1  实例：使用Hive CLI客户端执行Hive命令 95
4.2.2  实例：使用Beeline客户端执行Hive命令 96
4.2.3  实例：使用Hue客户端执行Hive命令 100
4.3  使用Hive的变量 102
4.3.1  Hive变量 102
4.3.2  实例：使用Hive CLI客户端设置系统环境变量 103
4.3.3  实例：使用Hive CLI客户端设置属性变量 103
4.3.4  实例：使用Hive CLI客户端设置自定义变量 103
4.3.5  实例：使用Hive CLI客户端设置Java属性变量 104
4.4  实例：使用Hive的拓展工具——HCatalog 104
4.5  本章小结 106
4.6  习题 106
第5章  智能数据治理 107
5.1  Hive的数据库特性 107
5.1.1  Hive数据库 107
5.1.2  如何管理Hive数据库 109
5.2  认识表类型 111
5.2.1  内部表 111
5.2.2  外部表 112
5.2.3  临时表 113
5.3  管理表 114
5.3.1  实例：创建表 114
5.3.2  实例：修改表 119
5.3.3  实例：删除表 122
5.4  管理表分区 126
5.4.1  实例：新增表分区 127
5.4.2  实例：重命名表分区 128
5.4.3  实例：交换表分区 128
5.4.4  实例：删除表分区 130
5.5  导入与导出表数据 130
5.5.1  实例：将业务数据导入Hive表 130
5.5.2  实例：从Hive表中导出业务数据 136
5.6  本章小结 140
5.7  习题 140
第6章  智能数据库查询 141
6.1  使用SELECT语句 141
6.1.1  实例：分组详解 141
6.1.2  实例：排序详解 145
6.1.3  实例：JOIN查询详解 153
6.1.4  实例：UNION查询详解 165
6.2  使用用户自定义函数 168
6.2.1  了解用户自定义函数 168
6.2.2  开发用户自定义函数功能 171
6.3  使用窗口函数与分析函数来查询数据 178
6.3.1  了解窗口函数和分析函数 178
6.3.2  实例：窗口函数和分析函数详解 179
6.4  本章小结 185
6.5  习题 185
第7章  数据智能应用：以视图简化查询流程 186
7.1  什么是视图 186
7.2  管理视图 187
7.2.1  创建视图 187
7.2.2  修改视图 191
7.2.3  删除视图 192
7.3  物化视图 193
7.3.1  非视图非表 193
7.3.2  创建物化视图 194
7.3.3  物化视图的生命周期 198
7.4  本章小结 200
7.5  习题 200
第3篇  进    阶
第8章  使用Hive RPC服务 202
8.1  RPC的重要性 202
8.1.1  什么是RPC 202
8.1.2  了解RPC的用途 203
8.2  HiveServer2和MetaStore 205
8.2.1  HiveServer2的架构 205
8.2.2  MetaStore元存储管理 206
8.3  HiveServer2和MetaStore的关系及区别 207
8.3.1  使用不同模式下的MetaStore 208
8.3.2  使用HiveServer2服务 210
8.4  维护Hive集群服务 212
8.4.1  实例：编写自动化脚本让服务维护变得简单 212
8.4.2  实例：编写监控脚本让服务状态变得透明 215
8.5  HiveServer2服务应用实战 216
8.5.1  嵌入式模式访问 216
8.5.2  远程模式访问 218
8.6  本章小结 223
8.7  习题 223
第9章  引入安全机制保证Hive数据安全 224
9.1  数据安全的重要性 224
9.1.1  数据安全 224
9.1.2  数据安全的三大原则 225
9.1.3  大数据的安全性 226
9.2   Hive中的权限认证 226
9.2.1  授权与回收权限 226
9.2.2  传统模式授权 227
9.2.3  基于文件存储的授权 231
9.2.4  基于SQL标准的授权 233
9.3  使用Apache Ranger管理Hive权限 236
9.3.1  大数据安全组件方案对比 236
9.3.2  什么是Apache Ranger 239
9.3.3  Apache Ranger的安装与部署 240
9.3.4  使用Apache Ranger对HDFS授权 245
9.3.5  使用Apache Ranger对Hive库表授权 248
9.4  本章小结 252
9.5  习题 252
第10章  数据提取与多维呈现：深度解析Hive编程 253
10.1  使用编程语言操作Hive 253
10.2  Java操作Hive实践 254
10.2.1  环境准备 261
10.2.2  实例：实现简易天气分析系统 261
10.3  Python操作Hive实践 274
10.3.1  选择Python操作Hive SQL 274
10.3.2  使用JayDeBeApi实现Python访问Hive 275
10.4  数据洞察与分析 278
10.4.1  数据洞察的价值 278
10.4.2  数据洞察的方法论 279
10.4.3  数据洞察可视化实践 279
10.5  本章小结 283
10.6  习题 283
第4篇  项目实战
第11章  基于Hive的高效推荐系统实践 286
11.1  什么是推荐系统 286
11.1.1  推荐系统的发展历程 286
11.1.2  推荐系统解决的核心问题 287
11.1.3  推荐系统的应用领域 287
11.2  数据仓库驱动的推荐系统设计 288
11.2.1  推荐系统类型详解 288
11.2.2  建立推荐系统的核心步骤 293
11.2.3  设计一个简易的推荐系统架构 294
11.2.4  构建推荐系统模型 297
11.3  代码如何实现推荐效果 306
11.3.1  构建数据仓库 306
11.3.2  数据清洗 311
11.3.3  协同过滤算法实现 314
11.4  本章小结 329
11.5  习题 330
第12章  基于AI的Hive大数据分析实践 331
12.1  融合ChatGPT与Hive的数据智能探索 331
12.1.1  开启数据智能新纪元：ChatGPT简介 331
12.1.2  ChatGPT在Hive数据分析中的角色 336
12.2  构建智能化的Hive数据处理引擎 337
12.2.1  ChatGPT与Hive的集成实现 337
12.2.2  智能引擎应用案例分析 338
12.3  ChatGPT的自然语言处理与Hive数据分析与挖掘 341
12.3.1  聚变智慧：ChatGPT与Hive技术的革新整合 341
12.3.2  自然语言处理在Hive数据分析中的应用 343
12.4  ChatGPT与Hive数据分析未来展望 347
12.4.1  ChatGPT技术发展前景 347
12.4.2  未来Hive数据分析中的ChatGPT潜在应用 348
12.5  本章小结 350
12.6  习题 350