数据综合治理实践指导手册

第1章 数据治理概述 1
1.1 数据治理的定义 1
1.2 数据治理的基本要求 2
1.3 数据治理模型 3
1.4 数据治理一般步骤 5
第2章 数据质量 8
2.1 数据质量概述 8
2.1.1 数据质量定义 8
2.1.2 数据质量问题 8
2.1.3 数据质量维度 10
2.2 数据清洗 10
2.2.1 数据清洗定义 10
2.2.2 数据清洗方法 11
2.2.3 数据清洗流程 21
第3章 数据质量管理系统 25
3.1 数据源管理 25
3.1.1 关系数据库数据源管理 25
3.1.2 文件数据源管理 27
3.2 数据剖析 27
3.2.1 元数据 27
3.2.2 值预览 28
3.2.3 值分布分析 28
3.3 数据质量评估 29
3.3.1 指标体系维护 29
3.3.2 评估算法库 31
3.3.3 数据检查算子库 32
3.3.4 数据血缘关系维护 35
3.3.5 数据质量评估流程 37
3.3.6 评估任务库 40
3.4 数据清洗 40
3.4.1 清洗算子库 40
3.4.2 数据清洗流程 43
3.4.3 清洗任务库 45
3.4.4 清洗案例库 46
3.5 系统设置 46
3.5.1 用户管理 46
3.5.2 角色管理 47
3.5.3 模块管理 49
3.5.4 修改密码 52
第4章 常用数据质量管理系统操作 53
4.1 规划评估指标 53
4.2 导入数据源 54
4.3 建立基础指标体系 56
4.4 创建数据质量评估任务 58
4.5 配置指标树 59
4.6 配置评估算子 59
4.7 设置指标聚合方式 61
4.8 执行评估方案 62
4.9 数据清洗 64
4.10 算子开发 66
4.10.1 算子开发与部署方法 66
4.10.2 算子开发实例 70
第5章 数据集成 74
5.1 数据集成的概念 74
5.2 数据集成的方法 75
5.2.1 虚拟视图方法 76
5.2.2 物化方法 77
5.2.3 混合型集成方法 78
5.3 数据集成开发生命周期 79
第6章 多源数据汇集处理系统 80
6.1 管理部分 80
6.1.1 用户管理 80
6.1.2 管理案例库 82
6.2 普通人员视图 84
6.2.1 历史库 85
6.2.2 案例模板库 86
6.2.3 数据源创建 87
6.2.4 预设向导模板 89
6.3 开发者视图 92
6.3.1 新建 92
6.3.2 打开 93
6.3.3 资源库 93
6.3.4 统计 94
6.3.5 模型校验 94
6.3.6 事前校验 96
6.3.7 测试模型 96
6.3.8 逐步测试 96
6.3.9 插入断点 97
6.3.10 插入监控点 98
6.3.11 大数据支持 99
6.3.12 日志和统计升级 99
6.3.13 数据预览 100
第7章 常用数据集成功能操作 101
7.1 数据集成准备 101
7.2 表属性的计算汇总 103
7.3 表数据分组统计 113
7.4 表间数据关联 124
7.5 脚本处理 133
7.6 多表数据合并 142
7.7 字段合并与数据分流 151
7.8 数值范围标识 162
7.9 作业处理 170
7.10 综合操作（1） 177
7.11 综合操作（2） 197
参考文献 209