大数据与商务分析

目录
前言
第1章　大数据概论　1
1.1　什么是大数据　1
1.1.1　大数据时代背景　1
1.1.2　大数据的定义　2
1.1.3　大数据的特征　5
1.1.4　DIKW模型　6
1.2　大数据的产生与来源　8
1.2.1　信息-物理-社会融合系统　8
1.2.2　大数据的产生方式　9
1.2.3　典型大数据来源　9
1.3　大数据时代的科研范式　13
1.3.1　数据科学　13
1.3.2　数据密集型科学发现　14
1.3.3　计算社会科学　15
1.4　大数据人才与组织　16
1.4.1　大数据人才　16
1.4.2　大数据组织　17
1.5　大数据安全与隐私保护　18
1.5.1　大数据安全　18
1.5.2　隐私保护　20
参考文献　21
第2章　商务分析基础　22
2.1　商务分析概述　22
2.1.1　什么是商务分析　22
2.1.2　从商务智能到商务分析　23
2.1.3　大数据时代的商务分析　25
2.2　商务数据分析框架　26
2.2.1　描述性分析　26
2.2.2　预测性分析　26
2.2.3　规范性分析　27
2.3　常用的商务数据分析方法　28
2.3.1　关联分析　28
2.3.2　聚类分析　28
2.3.3　分类分析　28
2.3.4　回归分析　29
2.4　商务数据分析流程　29
2.4.1　数据分析过程模型　29
2.4.2　六阶段任务　30
参考文献　32
第3章　大数据管理　33
3.1　结构化数据与非结构化数据　33
3.1.1　结构化数据　34
3.1.2　非结构化数据　34
3.2　元数据管理　35
3.2.1　什么是元数据　35
3.2.2　元数据如何管理　37
3.3　大数据存储管理　38
3.3.1　传统关系型数据库　38
3.3.2　数据仓库与数据集市　39
3.3.3　NoSQL数据库　41
3.3.4　Hadoop与MapReduce　42
3.3.5　云计算与云数据管理　44
3.4　数据质量管理　46
3.4.1　数据质量维度　46
3.4.2　影响数据质量的因素　48
3.4.3　数据生命周期　49
3.4.4　数据质量管理方法　50
参考文献　52
第4章　数据预处理　53
4.1　数据清洗　53
4.1.1　缺失数据处理　53
4.1.2　噪声数据处理　54
4.2　数据集成　55
4.2.1　模式集成问题　55
4.2.2　属性语义差异和结构差异问题　55
4.2.3　冗余问题　56
4.2.4　数据重复问题　56
4.2.5　数据冲突问题　57
4.3　数据转换　57
4.4　数据降维　57
4.4.1　维数灾难　58
4.4.2　降维方法　59
参考文献　61
第5章　数据探索分析　62
5.1　数据描述统计分析　62
5.1.1　分散趋势分析　62
5.1.2　集中趋势分析　63
5.1.3　变异分析　63
5.1.4　相关分析　63
5.2　数据可视化　64
5.2.1　数据可视化的价值　64
5.2.2　趋势型数据可视化　65
5.2.3　对比型数据可视化　68
5.2.4　比例型数据可视化　75
5.2.5　分布型数据可视化　78
5.2.6　关系型数据可视化　81
5.2.7　地理型数据可视化　84
参考文献　84
第6章　描述性数据分析　85
6.1　关联分析　85
6.1.1　频繁项集　85
6.1.2　关联规则　85
6.1.3　关联规则发现流程　86
6.1.4　Apriori算法　87
6.1.5　FP-growth算法　92
6.1.6　关联规则评价　96
6.2　序列模式分析　98
6.2.1　基本概念　98
6.2.2　序列模式挖掘　99
6.2.3　AprioriAll算法　100
6.2.4　GSP算法　102
6.2.5　FreeSpan算法　102
6.2.6　PrefixSpan算法　102
6.2.7　算法比较　104
6.3　聚类分析　105
6.3.1　聚类分析方法分类　105
6.3.2　划分聚类方法　107
6.3.3　层次聚类方法　110
6.3.4　密度聚类方法　117
6.3.5　聚类性能评估　120
6.4　离群点检测　123
6.4.1　离群点及检测方法概述　123
6.4.2　基于统计的离群点检测　125
6.4.3　基于距离的离群点检测　126
6.4.4　基于密度的离群点检测　127
6.4.5　基于聚类的离群点检测　128
参考文献　130
第7章　预测性数据分析　131
7.1　线性回归分析　131
7.1.1　一元线性回归分析　131
7.1.2　多元线性回归分析　133
7.2　时间序列分析　135
7.2.1　时间序列的组成成分　136
7.2.2　平稳序列的预测　137
7.2.3　趋势型序列的预测　139
7.2.4　季节型序列的预测　140
7.2.5　时间序列预测方法的选择　141
7.2.6　复合型序列的分解预测　142
7.3　判别分析　142
7.3.1　判别分析的基本思想　143
7.3.2　两个总体的判别分析　144
7.3.3　多个总体的判别分析　145
7.3.4　应用实例　145
7.4　分类算法　147
7.4.1　分类的数学定义　148
7.4.2　决策树　149
7.4.3　贝叶斯分类　153
7.4.4　k-*近邻分类　155
7.4.5　人工神经网络　156
7.4.6　支持向量机　159
7.5　推荐算法　161
7.5.1　个性化推荐的基本概念　161
7.5.2　协同过滤推荐　161
7.5.3　基于内容的推荐　165
7.5.4　基于知识的推荐　165
7.5.5　基于信任的推荐　167
7.5.6　混合推荐　168
7.5.7　应用实例　170
参考文献　171
第8章　规范性数据分析　173
8.1　决策分析　173
8.1.1　决策的定义与决策过程　173
8.1.2　决策问题的类型　174
8.1.3　决策问题的描述　177
8.1.4　决策模型与求解方法　177
8.2　数据驱动的决策　179
8.2.1　数据文化　180
8.2.2　数据驱动型决策的步骤　181
8.2.3　大数据驱动的管理决策范式与框架　182
8.3　决策支持系统　185
8.3.1　决策支持系统的组件　186
8.3.2　新一代决策支持系统　187
8.4　商务智能系统　188
8.4.1　商务智能系统的主要功能　188
8.4.2　商务智能系统的体系架构　189
8.5　知识管理系统　190
8.5.1　知识系统的工作过程　191
8.5.2　知识系统的功能与结构　191
8.6　个性化推荐系统　195
8.6.1　推荐系统的工作原理与构成　195
8.6.2　推荐系统的架构　196
8.7　收益管理系统　198
8.7.1　收益管理理论　198
8.7.2　收益管理系统的体系架构　200
8.7.3　收益管理优化算例　201
参考文献　202
第9章　非结构化数据分析　203
9.1　Web数据分析　203
9.1.1　Web数据分析任务　203
9.1.2　Web挖掘的基本流程　205
9.1.3　Web信息爬取　206
9.1.4　Web结构挖掘　212
9.1.5　Web观点挖掘　215
9.1.6　Web使用挖掘　220
9.2　文本数据分析　222
9.2.1　预处理技术　222
9.2.2　文本表示　228
9.2.3　文本聚类　235
9.2.4　文本分类　238
9.3　图数据分析　239
9.3.1　图的基础知识　239
9.3.2　二分图匹配　243
9.3.3　频繁子图挖掘　245
9.3.4　图聚类　249
参考文献　254