中台落地手记：业务服务化与数据资产化

前言
第1章 总体规划1
1.1 统一内部认识1
1.2 把握外部环境2
1.3 中台具体建设思路3
1.3.1 阿里巴巴中台建设思路拆解3
1.3.2 企业组织变革5
1.3.3 业务与数据逻辑架构设计7
1.4 运营中台规划与设计8
1.4.1 运营中台面临的几个典型痛点8
1.4.2 行业规范与趋势8
1.4.3 运营中台前期准备情况9
第2章 业务服务化建设11
2.1 多种方法梳理业务11
2.2 领域驱动（DDD）业务建模13
2.2.1 领域驱动建模介绍13
2.2.2 业务架构设计16
2.3 业务服务化带来的效益19
2.4 服务提供者20
2.5 服务消费者21
2.6 服务管理者22
2.7 运营中台业务服务化设计26
2.7.1 梳理各业务线流程26
2.7.2 定义业务领域28
2.7.3 确定聚合与聚合根28
2.7.4 确定限界上下文29
第3章 微服务解决方案31
3.1 RPC框架：Apache Dubbo32
3.1.1 架构分层剖析32
3.1.2 核心流程介绍33
3.1.3 关键生态组件介绍34
3.1.4 Dubbo使用举例35
3.2 Spring框架：Spring Cloud40
3.2.1 网关平台40
3.2.2 服务注册与发现41
3.2.3 配置管理41
3.2.4 负载均衡42
3.2.5 服务保护43
3.2.6 链路追踪44
3.2.7 安全控制44
3.3 微服务难点剖析45
3.3.1 网络延迟45
3.3.2 分布式事务46
3.3.3 分布式计算48
3.4 服务网格Service Mesh50
3.5 无服务架构Serviceless51
3.6 运营中台基于微服务技术搭建业务中台52
3.6.1 微服务划分52
3.6.2 整体微服务架构53
3.6.3 缓存方案54
3.6.4 搜索方案57
3.6.5 通信方案58
3.6.6 SPI与插件化方案59
第4章 收集各类数据62
4.1 多渠道收集数据64
4.2 多数据结构收集数据65
4.3 收集工具介绍66
4.3.1 Apache Flume66
4.3.2 Apache Sqoop67
4.3.3 Alibaba DataX71
4.3.4 爬虫系统工具74
4.3.5 Apache Kafka76
4.3.6 Alibaba Canal83
4.4 运营中台数据收集过程92
第5章 数据预处理94
5.1 数据标准建立95
5.2 数据建模子系统95
5.2.1 关系型数据建模95
5.2.2 数据仓库建模96
5.2.3 非关系型数据建模99
5.2.4 通用建模步骤99
5.3 元数据管理子系统101
5.3.1 元数据的内涵101
5.3.2 元数据管理的意义102
5.3.3 元数据管理开源方案：Apache Atlas102
5.4 数据质量控制子系统104
5.4.1 数据质量维度度量104
5.4.2 数据质量控制方案105
5.4.3 数据质量管理开源方案：Apache Griffin106
5.5 运营中台数据预处理107
5.5.1 建立内部数据标准107
5.5.2 与业务模型对应的数据模型子系统108
5.5.3 自研元数据管理子系统110
5.5.4 自研数据质量控制子系统112
第6章 数据湖和数据仓库数据处理113
6.1 数据仓库113
6.1.1 数据仓库分层113
6.1.2 数据仓库分类114
6.2 数据湖与大数据116
6.2.1 Lambda架构116
6.2.2 Kappa架构117
6.2.3 大数据平台118
6.3 开源数据湖方案：Apache Hudi119
6.3.1 Hudi存储120
6.3.2 Hudi读取122
6.4 运营中台数据仓库和数据湖的建设情况123
6.4.1 基于Hive的离线数据仓库123
6.4.2 基于Kylin的准实时数据仓库125
6.4.3 基于Flink TiDB的实时数据仓库126
6.4.4 基于Hudi的数据湖建设127
第7章 数据计算开发130
7.1 离线计算130
7.1.1 MapReduce经典计算引擎130
7.1.2 Apache Spark内存计算引擎132
7.2 在线计算137
7.2.1 事务优先类引擎137
7.2.2 非事务优先类引擎143
7.2.3 预计算类引擎151
7.3 流式计算154
7.3.1 无状态计算引擎：Apache Storm154
7.3.2 有状态计算引擎：Apache Flink156
7.4 运营中台数据资产化过程163
7.4.1 典型问题解决方案165
7.4.2 性能调优168
第8章 深入挖掘业务数据174
8.1 利用机器学习进行数据挖掘174
8.1.1 监督学习175
8.1.2 非监督学习176
8.1.3 强化学习177
8.2 机器学习通用步骤177
8.2.1 数据清洗处理178
8.2.2 特征工程179
8.2.3 对模型进行训练182
8.2.4 评估模型的泛化程度184
8.2.5 模型保存及导入185
8.3 运营中台业务数据挖掘188
8.3.1 客户数据挖掘：分类营销188
8.3.2 安全数据挖掘：运行事件预测190
第9章 安全措施192
9.1 安全体系范畴192
9.1.1 平台安全192
9.1.2 数据安全193
9.1.3 隐私安全194
9.2 大数据平台安全开源方案：Apache Ranger195
9.3 运营中台安全措施197
9.3.1 运营中台安全告警系统199
9.3.2 运营中台两地三中心数据容灾方案199
第10章 中台运营及周边203
10.1 运营中的运维：维护优势203
10.2 运营中的营收：提升价值204
10.3 各类中台形态204
10.3.1 数据中台204
10.3.2 业务中台205
10.3.3 AI中台206
10.4 运营中台的运营规划207
后记208