大数据导论

第1章 大数据与数据科学 / 1
1.1 大数据概述 / 1
1.1.1 大数据的概念 / 2
1.1.2 大数据的特征 / 2
1.1.3 大数据的结构类型 / 3
1.2 大数据的发展 / 4
1.3 大数据处理的挑战 / 5
1.4 数据科学的概念 / 6
1.5 数据科学的由来 / 7
1.6 数据科学的应用场景 / 9
1.6.1 行业数据 / 9
1.6.2 数据服务 / 10
小结 / 11
习题 / 11
第2章 数据采集与数据预处理 / 12
2.1 数据采集和数据预处理概述 / 12
2.1.1 数据采集概述 / 12
2.1.2 数据预处理概述 / 13
2.2 数据采集技术 / 15
2.2.1 网络数据采集技术 / 15
2.2.2 日志数据采集技术 / 23
2.3 数据预处理技术 / 28
2.3.1 数据清洗 / 28
2.3.2 数据集成 / 30
2.3.3 数据变换 / 30
2.3.4 数据规约 / 32
小结 / 33
习题 / 33
第3章 数据存储 / 34
3.1 数据存储概述 34
3.1.1 数据存储的发展历程 / 34
3.1.2 数据存储模型 / 36
3.2 大数据存储 / 36
3.2.1 海量数据存储关键技术 / 37
3.2.2 分布式文件系统 / 37
3.3 分布式数据库 / 41
3.3.1 HBase 分布式数据库 / 42
3.3.2 MongoDB 分布式 数据库 / 45
3.3.3 Hive 分布式数据 仓库 / 47
小结 / 49
习题 / 49
第4章 大数据处理平台 / 50
4.1 概述 / 50
4.2 大数据的处理平台架构 / 51
4.2.1 技术架构 / 51
4.2.2 开源平台 / 52
4.3 大数据的批量处理 / 54
4.3.1 批量计算的概念 / 54
4.3.2 批量计算的软件系统 / 55
4.4 大数据的流式计算 / 63
4.4.1 流式计算的概念 / 63
4.4.2 流式计算的软件系统 / 64
4.5 大数据的混合处理计算 / 68
4.5.1 混合处理计算的概念 / 68
4.5.2 混合处理计算的软件系统 / 69
小结 / 78
习题 / 79
第5章 数据分析 / 80
5.1 数据分析概述 / 80
5.1.1 数据分析的概念和作用 / 80
5.1.2 数据分析的类型 / 81
5.1.3 数据分析的流程 / 81
5.2 统计数据分析方法 / 83
5.2.1 描述统计 / 83
5.2.2 相关分析 / 84
5.2.3 回归分析 / 88
5.2.4 主成分分析 / 92
5.3 数据挖掘算法 / 96
5.3.1 决策树 / 96
5.3.2 K-Means 算法 / 101
5.3.3 Apriori 算法 / 106
5.3.4 神经网络 / 111
5.4 数据分析工具 / 113
小结 / 114
习题 / 114
第6章 数据可视化 / 117
6.1 数据可视化概述 / 117
6.1.1 数据可视化的基本特征 / 119
6.1.2 数据可视化的作用 / 120
6.1.3 数据可视化的流程 / 123
6.2 数据可视化方法 / 126
6.2.1 文本可视化 / 126
6.2.2 网络可视化 / 129
6.2.3 时空数据可视化 / 131
6.2.4 多维数据可视化 / 134
6.3 数据可视化软件与工具 / 136
6.3.1 Excel / 137
6.3.2 NodeXL / 137
6.3.3 Processing / 138
6.3.4 R / 139
6.3.5 ECharts / 139
6.3.6 Wolfram Mathematica / 141
小结 / 141
习题 / 142
第7章 数据安全与隐私 / 143
7.1 大数据安全概述 / 143
7.1.1 大数据安全体系结构 / 148
7.1.2 大数据安全 / 150
7.2 数据安全协议 / 157
7.3 数据隐私 / 159
7.4 数据信息共享与隐私信息融合 / 160
7.5 云环境下的大数据安全与隐私保护 / 163
小结 / 165
习题 / 165
第8章 大数据应用 / 166
8.1 互联网商业应用 / 166
8.1.1 用户画像 / 166
8.1.2 大数据精准营销 / 169
8.1.3 互联网金融 / 171
8.2 行业大数据 / 173
8.2.1 教育大数据 / 173
8.2.2 电力大数据 / 174
8.2.3 医疗大数据 / 177
8.3 人工智能应用 / 179
8.3.1 语音识别和机器翻译 / 179
8.3.2 共享经济 / 180
8.3.3 智慧城市 / 183
小结 / 187
习题 / 188
第9章 数据思维 / 189
9.1 大数据时代的挑战 / 189
9.2 大数据时代的思维变革 / 194
9.2.1 第四范式 / 194
9.2.2 数据的混杂性 / 195
9.2.3 样本与总体 / 196
9.2.4 数据的相关关系与因果关系 / 197
9.2.5 大数据与幸存者偏差 / 198
9.3 大数据激发创造力 / 199
9.3.1 大数据预测电影票房 / 199
9.3.2 利用大数据治理纽约 / 200
9.3.3 大数据助力总统竞选 / 202
9.4 数据科学展望 / 204
9.4.1 开放数据运动 / 204
9.4.2 数据科学家所需的专业技能 / 206
9.4.3 数据科学的发展前景 / 208
小结 210
习题 210
参考文献 / 211