视频编解码芯片设计原理

目录
前言
第1章 概论 1
1.1 视频的组成 1
1.2 色彩空间 3
1.3 数据冗余与视频编码 4
1.4 编码单元与编码层次 5
1.5 视频编码的国际标准 6
参考文献 7
第2章 视频编码技术框架与标准 8
2.1 视频编码技术框架 8
2.1.1 块划分 10
2.1.2 预测 10
2.1.3 变换编码 11
2.1.4 量化 12
2.1.5 熵编码 13
2.1.6 重建环路与环路滤波 13
2.2 H.26x标准 14
2.2.1 H.261 14
2.2.2 H.263 16
2.2.3 H.264/AVC 17
2.2.4 H.265/HEVC 21
2.2.5 H.266/VVC 23
2.3 其他视频编码标准 28
2.3.1 MPEG-x标准 28
2.3.2 AVS标准 29
2.3.3 AV1标准 33
2.3.4 EVC标准 35
参考文献 37
第3章 视频编解码芯片架构 39
3.1 概述 39
3.1.1 芯片成本 39
3.1.2 实现流程及等价性检查 40
3.1.3 软硬件编码器的区别 43
3.1.4 敏捷架构 44
3.2 层次结构 45
3.2.1 X001 CDC P 45
3.2.2 K001 ENC P 47
3.2.3 K001 DEC P 48
3.2.4 敏捷设计策略 49
3.3 架构优化 51
3.3.1 RMD 52
3.3.2 IME 53
3.3.3 FME 54
3.4 性能评估 56
参考文献 57
第4章 帧内预测 58
4.1 概述 58
4.1.1 基本原理 58
4.1.2 现有成果 64
4.1.3 设计考量 66
4.2 算法优化 66
4.2.1 计算失真的优化 67
4.2.2 计算码率的优化 67
4.2.3 搜索模式的优化 68
4.3 VLSI实现 69
4.3.1 VLSI实现概述 69
4.3.2 行列存储器 71
4.3.3 并发存储器 73
4.3.4 预测引擎 73
4.3.5 搜索调度器 76
4.3.6 性能评估 76
参考文献 77
第5章 整像素运动估计 79
5.1 概述 79
5.1.1 基本原理 80
5.1.2 现有成果 86
5.1.3 设计考量 87
5.2 算法优化 89
5.2.1 搜索起始点 89
5.2.2 参考窗形状 90
5.2.3 降采样搜索 91
5.2.4 基于微代码的整像素运动估计架构 91
5.3 VLSI实现 92
5.3.1 寻址控制逻辑 93
5.3.2 水平垂直参考像素存储器 93
5.3.3 参考像素阵列更新逻辑 93
5.3.4 转置寄存器 94
5.3.5 像素截位 96
5.3.6 性能评估 96
参考文献 102
第6章 分像素运动估计 104
6.1 概述 104
6.1.1 基本原理 104
6.1.2 现有成果 110
6.2 算法优化 113
6.2.1 搜索方法 113
6.2.2 粗略运动向量预测 113
6.3 VLSI实现 114
6.3.1 插值 115
6.3.2 代价估计 116
6.3.3 性能评估 117
参考文献 119
第7章 重建环路 122
7.1 概述 122
7.1.1 基本原理 123
7.1.2 现有成果 129
7.1.3 设计考量 130
7.2 VLSI实现的模块优化 130
7.2.1 变换与反变换模块 130
7.2.2 转置存储器 136
7.2.3 量化与反量化模块 138
7.2.4 并发存储器 139
7.3 VLSI实现的架构优化 141
7.3.1 重建环路周期计算 141
7.3.2 TU/PU划分和4×4专用通路 142
7.3.3 PU模式判决下的两种结构 143
7.4 性能评估 144
7.4.1 资源代价分析 144
7.4.2 与其他文献的比较 145
参考文献 147
第8章 环路滤波 149
8.1 概述 149
8.1.1 算法方程 149
8.1.2 现有成果 156
8.1.3 设计考量 157
8.2 去方块滤波VLSI 实现 158
8.2.1 顶层架构 158
8.2.2 8×8滤波单元管理 159
8.2.3 边界强度计算模块 160
8.2.4 时序和流水线设计 161
8.2.5 性能评估 162
8.3 样点自适应补偿VLSI实现 162
8.3.1 顶层架构 162
8.3.2 基于位图的参数统计模块 163
8.3.3 码率估计算法 165
8.3.4 模式判决流水线设计 165
8.3.5 性能评估 166
参考文献 167
第9章 熵编码和熵解码 169
9.1 概述 169
9.1.1 基本原理 169
9.1.2 现有成果 181
9.1.3 设计考量 183
9.2 熵编码的VLSI设计 186
9.2.1 顶层架构 186
9.2.2 准备语法元素模块 187
9.2.3 二值化模块 188
9.2.4 更新上下文模块 189
9.2.5 算术编码模块 190
9.2.6 性能评估 192
9.3 熵解码的VLSI实现 193
9.3.1 顶层架构 193
9.3.2 输入码流模块 194
9.3.3 判断语法元素模块 194
9.3.4 更新上下文模块 195
9.3.5 算术解码模块 196
9.3.6 反二值化模块 198
9.3.7 性能评估 198
参考文献 199
第10章 参考帧压缩 201
10.1 概述 201
10.1.1 衡量标准 201
10.1.2 现有成果 202
10.2 参考帧压缩的算法设计 213
10.2.1 数据结构 214
10.2.2 DPCM预测 215
10.2.3 小值优化的半定长编码 215
10.2.4 子编码块分组 217
10.3 参考帧压缩的VLSI实现 217
10.3.1 VLSI实现 217
10.3.2 性能评估 218
参考文献 220
第11章 率失真优化 221
11.1 概述 221
11.1.1 基本原理 221
11.1.2 现有成果 223
11.1.3 设计考量 225
11.2 算法优化 227
11.2.1 变换单元统计 227
11.2.2 其他信息统计 228
11.2.3 帧间预测可配置模式判决 230
11.3 VLSI实现 231
11.3.1 顶层架构及时序 231
11.3.2 任务发布模块 232
11.3.3 预测模块 233
11.3.4 重建环路模块 234
11.3.5 代价计算模块 235
11.3.6 模式判决模块 237
11.3.7 性能评估 238
参考文献 239
第12章 码率控制 241
12.1 概述 241
12.2 码率控制提案 242
12.2.1 AVC的R-Q模型 242
12.2.2 HEVC的URQ模型 246
12.2.3 HEVC的Q-模型 247
12.2.4 HEVC的R-模型 248
12.2.5 R-模型的改进 250
12.3 码率控制模型的性能评估 251
12.3.1 HM的测试条件和测试结果格式 252
12.3.2 几种码率控制模型的比较 254
12.4 总结与讨论 257
参考文献 258
第13章 解码错误恢复 259
13.1 概述 259
13.1.1 基本原理 259
13.1.2 现有成果 261
13.2 空域差错掩盖算法 262
13.2.1 设计考量 262
13.2.2 算法优化设计 266
13.2.3 实验结果分析 268
13.3 时域差错掩盖算法 270
13.3.1 设计考量 270
13.3.2 算法优化与硬件设计 273
13.3.3 实验结果分析 276
参考文献 277
第14章 图像质量评估 279
14.1 概述 279
14.1.1 图像质量评估分类 279
14.1.2 主观图像质量评估 280
14.1.3 客观图像质量评估 283
14.1.4 性能指标和评价准则 291
14.2 算法优化 292
14.2.1 设计考量 292
14.2.2 显著性窗口确定策略 294
14.2.3 全局分数 295
14.2.4 显著性分数 296
14.2.5 分数融合指标 296
14.3 软件实现与测试 296
参考文献 300
第15章 虚拟现实与视频编码传输 302
15.1 VR视频概述 302
15.1.1 360°视频的拍摄采集 303
15.1.2 全景视频的投影编码 305
15.1.3 全景视频的动态传输 315
15.1.4 全景视频的渲染显示 320
15.2 新型投影方式ARcube 320
15.2.1 ARcube从球面到立方体的投影 320
15.2.2 参数D的最佳取值 322
15.3 实验测试与结果分析 323
15.3.1 角度均匀性 323
15.3.2 像素分布均匀性 324
15.3.3 综合验证 325
参考文献 326
第16章 神经网络与视频编码 328
16.1 神经网络 328
16.1.1 神经网络基础 328
16.1.2 反向传播算法 329
16.1.3 深度学习简介 330
16.1.4 卷积神经网络 330
16.1.5 深度学习框架 332
16.2 端到端图像编码网络 332
16.2.1 框架结构 333
16.2.2 量化 335
16.2.3 熵估计 336
16.2.4 R-D曲线的遍历 338
16.3 端到端P帧编码网络 339
16.3.1 深度视频压缩框架 339
16.3.2 多参考视频压缩框架 340
16.3.3 基于学习的视频编码器 341
16.3.4 基于率失真自编码器的视频编码器 343
16.4 端到端B 帧编码网络 343
16.4.1 双向预测插值帧 343
16.4.2 全局预测编码 345
参考文献 346
第17章 开源编码器IP核 348
17.1 基于PYNQ的XK264演示方案 349
17.1.1 PYNQ简介 349
17.1.2 准备工作 350
17.1.3 上板