对象存储实战指南

第一篇 基础与原理
第1章 对象存储概述 2
1．1 什么是对象存储 2
1．1．1 存储发展历史 2
1．1．2 块存储 4
1．1．3 文件存储 5
1．1．4 对象存储 5
1．2 存储技术对比分析 6
1．3 存储技术架构 8
1．3．1 存储区域网络架构 8
1．3．2 网络附加存储架构 9
1．3．3 对象存储架构 10
1．4 公共云对象存储服务实现架构 11
1．4．1 基于分布式文件系统构建 11
1．4．2 基于本地键值存储构建 12
1．5 公共云对象存储服务的关键能力 12
1．5．1 安全性 13
1．5．2 高可靠 13
1．5．3 高可用 13
1．5．4 扩展性 14
1．5．5 性价比 14
1．6 小结 14
第2章 协调和复制 15
2．1 协调 15
2．1．1 协调技术发展史 15
2．1．2 两将军问题 20
2．1．3 拜占庭将军问题 21
2．1．4 原子广播 22
2．1．5 视图复制 23
2．1．6 PAXOS 24
2．1．7 RAFT 26
2．1．8 协调达成共识算法分析 27
2．1．9 对象存储服务的共识应用 29
2．2 复制 30
2．2．1 数据冗余技术 30
2．2．2 复制一致性 32
2．2．3 复制协议 35
2．2．4 存储领域的复制技术应用 37
2．3 小结 39
第3章 命名和同步 40
3．1 命名技术 40
3．1．1 命名方式 40
3．1．2 命名分类 47
3．1．3 对象存储命名应用 49
3．2 物理时钟同步 53
3．2．1 物理时钟同步技术 53
3．2．2 对象存储物理时钟同步应用 55
3．3 逻辑时钟 56
3．3．1 逻辑时钟技术 56
3．3．2 对象存储逻辑时钟应用 59
3．4 小结 60
第4章 容错和数据完整性 61
4．1 容错 62
4．1．1 典型故障场景 62
4．1．2 故障模式 66
4．1．3 故障检测和分析 67
4．1．4 故障容错效果 71
4．1．5 分布式提交技术 72
4．1．6 日志恢复技术 74
4．1．7 对象存储容错 75
4．2 数据完整性 76
4．2．1 数据损坏源头 77
4．2．2 数据损坏类型 77
4．2．3 数据损坏发生时刻 78
4．2．4 数据损坏检测方法 78
4．2．5 数据损坏检测算法 78
4．2．6 数据损坏修复技术 79
4．2．7 对象存储数据损坏 79
4．3 小结 80
第5章 元数据索引设计 82
5．1 对象存储元数据需求分析 83
5．1．1 业界NoSQL分析 86
5．1．2 采用NoSQL领域的键值存储技术 89
5．2 键值存储原理 89
5．2．1 基于B树的键值存储 89
5．2．2 基于LSM-Tree的键值存储 92
5．2．3 键值存储布局 94
5．3 分布式键值存储实现 95
5．3．1 基于单机键值存储构建分布式键值系统 95
5．3．2 基于分布式文件系统构建分布式键值系统 96
5．4 对象存储元数据 97
5．4．1 基于分布式数据库构建元数据 97
5．4．2 基于分布式键值存储构建元数据 97
5．5 小结 97
第二篇 操作和使用
第6章 快速上手 100
6．1 快速使用公共云对象存储服务 100
6．2 基本概念 100
6．2．1 用户的访问密钥 101
6．2．2 存储空间 103
6．2．3 对象或文件 103
6．2．4 地域 103
6．2．5 访问域名 104
6．3 开通对象存储服务 104
6．3．1 创建存储空间 105
6．3．2 上传对象 107
6．3．3 下载对象 109
6．3．4 查看对象 110
6．3．5 删除对象 110
6．3．6 删除存储空间 111
6．4 小结 112
第7章 迁移数据到对象存储 113
7．1 离线迁移设备 113
7．1．1 什么是离线迁移 113
7．1．2 迁移设备类型 114
7．1．3 迁移数据到更多云产品 115
7．1．4 迁移流程 115
7．1．5 注意事项 117
7．2 在线迁移服务 118
7．2．1 什么是在线迁移 118
7．2．2 同云对象存储OSS内的在线数据迁移 118
7．2．3 同云产品间的在线数据迁移 121
7．2．4 跨云的在线数据迁移 124
7．2．5 注意事项 125
7．3 迁移工具 126
7．3．1 ossimport工具 126
7．3．2 ossutil工具 127
7．3．3 镜像回源 128
7．4 小结 131
第8章 安全与合规 132
8．1 安全配置 132
8．1．1 账户认证 132
8．1．2 访问授权 137
8．1．3 数据加密 143
8．1．4 监控审计 145
8．1．5 沙箱防护 146
8．2 合规管理 146
8．2．1 清单 146
8．2．2 合规保留 148
8．3 小结 149
第9章 数据保护 150
9．1 存储稳定性 150
9．1．1 数据故障率和错误率 150
9．1．2 对象存储各存储类型的稳定性指标 154
9．2 同城冗余存储 155
9．3 跨地域复制 157
9．4 异地多活 158
9．5 版本控制 159
9．5．1 技术介绍 160
9．5．2 开启版本控制 162
9．5．3 暂停版本控制 165
9．5．4 删除标记 167
9．6 小结 168
第10章 应用与实践 169
10．1 场景优化功能 169
10．1．1 访问域名 169
10．1．2 传输加速 171
10．1．3 上传对象 173
10．1．4 下载对象 179
10．1．5 单连接限速 180
10．1．6 对象元信息 180
10．1．7 存储空间标签和对象标签 181
10．1．8 选取内容 182
10．2 生命周期管理 183
10．2．1 规则介绍 183
10．2．2 存储类型转换 185
10．2．3 解冻对象 186
10．3 静态网站托管 187
10．3．1 使用说明 187
10．3．2 静态网站托管绑定自定义域名 188
10．4 数据处理应用场景 189
10．4．1 场景介绍 190
10．4．2 原生图片处理 192
10．4．3 原生视频处理 202
10．4．4 集成数据处理 203
10．5 应用场景最佳实践 207
10．5．1 随机化对象名前缀 207
10．5．2 网页上传数据 208
10．5．3 移动应用上传数据 211
10．5．4 基于对象存储的大数据分析 214
10．5．5 敏感数据保护场景 218
10．6 小结 220
第三篇 总结与展望
第11章 新场景、新趋势、新技术 222
11．1 数据湖存储 222
11．1．1 数据湖介绍 222
11．1．2 基于对象存储构建数据湖 223
11．1．3 数据湖架构 224
11．1．4 数据湖应用场景 227
11．1．5 数据湖应用实践 232
11．1．6 数据湖存储的关键特性 236
11．2 混合云存储 237
11．2．1 混合云介绍 237
11．2．2 混合云存储产品 239
11．2．3 混合云存储的关键特性 243
11．3 移动网络5G存储 243
11．3．1 移动网络5G介绍 243
11．3．2 中心存储 245
11．3．3 边存储 245
11．3．4 端访问 245
11．3．5 5G存储的关键特性 247
11．4 人工智能存储 247
11．4．1 人工智能介绍 247
11．4．2 人工智能存储架构 247
11．4．3 人工智能存储的关键特性 249
11．5 存储新技术趋势 250
11．5．1 新技术趋势 250
11．5．2 硬盘技术 250
11．5．3 固态硬盘新技术 251
11．5．4 内存新技术 252
11．5．5 新技术影响存储 252
11．6 小结 252