企业级数据架构：核心要素、架构模型、数据管理与平台搭建

定　价：¥99.00

作　者：	李杨
出版社：	机械工业出版社
丛编项：
标　签：	暂缺

购买这本书可以去

当当网 (¥74.20)

ISBN：	9787111746829	出版时间：	2024-03-01	包装：	平装-胶订
开本：	16开	页数：		字数：

内容简介

　　这是一本能指导企业在数字化转型和数据要素时代通过数据架构用好数据、管好数据、充分发挥数据价值的著作。从0到1讲解了数据架构的技术栈、方法论与落地实践，揭示了数据架构的底层逻辑，总结了数据架构的核心要素和架构模型，阐述了数据治理、数据资产管理以及数据平台的搭建等全方位的内容，是作者10余年数据工作经验的总结。本书主要分为五部分：第一部分：架构基础，对企业架构的组成要素以及流行的企业架构框架进行了总览性质的介绍，数据架构是重点；第二部分：数据架构基础，详细讲解了数据架构的组成、数据存储、数据调度与消息传输、Lambda架构和Kappa架构以及数据架构的辅助资源组件；第三部分：数据架构模型，首先介绍了企业内部数据区的划分与内部数据的流向，然后讲解了数据模型的建模策略、步骤和方法，以及维度建模的详细内容；第四部分：数据管理，讲解了数据架构的核心内容，包括元数据管理、数据质量管理、数据标准管理、数据治理和数据资产管理等的方法和实践；第五部分：数据架构实践，通过离线计算和实时计算两大场景中的综合案例，对前面的内容进行了融合，手把手教读者进行数据架构实践。本书内容通俗易懂，注重实践，不仅浓缩了作者在日常工作中的思考、解决问题的思路，还融入了该领域优秀同行的经验和实践，相信对读者会有一些帮助。

作者简介

　　李杨资深数据架构师，在数据相关领域有10年以上工作经验。头部保险资管公司科技平台交易系统团队开发组负责人，负责多个应用以及数据平台的建设、优化以及迁移工作。曾担任某数据公司技术合伙人，负责多个金融机构的数据仓库或数据平台相关的工作。在数据质量管理、数据治理等领域有着非常深厚的积累，熟悉不同行业的数字化转型。此外，他还是一名经验丰富的应用工程师，对大数据、数据库以及主流的技术栈有着非常深入的了解。2022年被集团评为“优秀架构师”，积极参与行业内部的相关课题研究，是《保险问道之保险资管数字化探索》一书的执笔人之一，是中资协《金融科技赋能保险资管风险管控的研究》课题核心组成员之一。

图书目录

序
自序
前言
第一部分　架构基础
第1章　企业架构概述 3
1.1　企业架构 4
1.2　Zachman框架 4
1.2.1　Zachman框架的维度 4
1.2.2　Zachman框架的特点 5
1.2.3　Zachman框架的使用 6
1.3　TOGAF 6
1.3.1　TOGAF完善架构过程 7
1.3.2　框架核心：ADM 8
1.4　业务架构 9
1.4.1　业务架构的价值 9
1.4.2　业务架构的关键点 10
1.5　数据架构 11
1.5.1　数据架构设计 12
1.5.2　数据架构核心组成 12
1.6　总结 13
第二部分数据架构基础
第2章　数据架构构成 18
2.1　数据模型 18
2.2　元数据 19
2.3　数据质量 20
2.4　数据标准 21
2.5　数据治理 21
2.6　数据资产 22
2.6.1　数据管理 22
2.6.2　数据仓库 22
2.6.3　数据湖 23
2.6.4　数据资产内涵 23
2.7　数据生命周期 24
2.7.1　数据创建 25
2.7.2　数据使用 25
2.7.3　数据归档 26
2.7.4　数据销毁 26
2.8　数据分布 27
2.8.1　数据存储 27
2.8.2　数据访问 27
2.9　常见数据架构技术选型 28
2.9.1　Lambda 28
2.9.2　Kappa 29
2.10　数据调度 30
2.11　总结 30
第3章　数据存储 31
3.1　数据存储基础 32
3.1.1　计算机组成基础结构 32
3.1.2　数据存储核心概念 35
3.1.3　OLTP与OLAP场景 37
3.2　集中式数据库 38
3.2.1　常见关系型数据库 38
3.2.2　分库分表 39
3.3　分布式数据库 40
3.3.1　大规模并行处理技术 40
3.3.2　分布式事务 41
3.4　大数据存储 43
3.4.1　HDFS 43
3.4.2　Yarn 44
3.4.3　Hive 44
3.4.4　HBase 45
3.4.5　Spark及Spark Streaming 46
3.5　特定领域存储 46
3.5.1　ClickHouse 46
3.5.2　Elasticsearch 48
3.6　实时计算阶段 49
3.7　总结 49
第4章　数据调度与消息传输 50
4.1　通用技术选型 50
4.2　Airflow调度平台 52
4.2.1　Airflow基础概念 52
4.2.2　Airflow架构 54
4.2.3　Airflow与其他调度平台对比 55
4.3　DataX数据同步工具 56
4.3.1　DataX基础概念 56
4.3.2　DataX数据同步 57
4.3.3　DataX优化 59
4.3.4　DataX与其他数据同步工具对比 60
4.4　Kafka消息中间件 62
4.4.1　Kafka基础概念 62
4.4.2　Kafka架构概述 63
4.4.3　Kafka高性能原理 63
4.4.4　Kafka与其他中间件对比 67
4.5　总结 68
第5章　Lambda架构与Kappa架构 69
5.1　架构演进 69
5.1.1　传统数据仓库架构 70
5.1.2　传统大数据架构 71
5.1.3　流式计算架构 72
5.1.4　Lambda架构 73
5.1.5　Kappa架构 74
5.2　Lambda架构详解 75
5.2.1　架构解析 76
5.2.2　核心组件 78
5.2.3　数据流向 81
5.3　Kappa架构详解 82
5.3.1　架构解析 82
5.3.2　核心组件 85
5.3.3　数据流向 87
5.4　Lambda与Kappa对比 87
5.5　流批一体化 89
5.6　总结 90
第6章　辅助类应用体系介绍 91
6.1　资源管理 91
6.1.1　开源堡垒机JumpServer 92
6.1.2　部署与负载均衡 92
6.1.3　核心概念 94
6.1.4　最佳实践 95
6.2　资源及组件监控 95
6.2.1　开源监控系统Prometheus 96
6.2.2　可视化系统Grafana 98
6.2.3　告警模块AlertManager 100
6.2.4　小结 101
6.3　应用监控 102
6.3.1　应用链路监控Pinpoint 102
6.3.2　原理与组件介绍 103
6.3.3　最佳实践 104
6.3.4　小结 106
6.4　日志监控 107
6.4.1　ELK 107
6.4.2　直连式日志收集架构 107
6.4.3　高并发日志收集架构 108
6.5　总结 109
第三部分数据架构模型实践
第7章　企业数据区与数据流向 113
7.1　数据区概述 113
7.2　数据区详解 115
7.2.1　操作型数据区 115
7.2.2　集成型数据区 116
7.2.3　分析型数据区 117
7.2.4　历史数据区 118
7.3　企业数据流向 119
7.3.1　操作型数据区数据流向 119
7.3.2　集成型数据区数据流向 120
7.3.3　分析型数据区数据流向 121
7.3.4　历史数据区数据流向 122
7.4　企业数据分层 123
7.5　企业集成型数据区层级 124
7.5.1　数据缓冲层 125
7.5.2　数据贴源层 126
7.5.3　标准模型层 127
7.5.4　整合模型层 127
7.5.5　数据集市层 128
7.6　互联网公司的集成型数据区分层特点 129
7.7　总结 130
第8章　数据模型架构详解 131
8.1　为什么要建模 132
8.2　建模策略 134
8.2.1　数据缓冲层建模策略 135
8.2.2　数据贴源层建模策略 135
8.2.3　标准模型层建模策略 136