数据标注工程

第1章 数据标注概述…………………………………………1
1.1 数据标注的起源与发展…………………………………………1
1.1.1 什么是数据标注 …………………………………………3
1.1.2 数据标注分类概述 ………………………………………4
1.1.3 数据标注流程概述 ………………………………………6
1.2 数据标注的应用场景……………………………………… 7
1.2.1 出行行业 …………………………………………………7
1.2.2 金融行业 …………………………………………………8
1.2.3 医疗行业 …………………………………………………8
1.2.4 家居行业 …………………………………………………8
1.2.5 安防行业 …………………………………………………9
1.2.6 公共服务 …………………………………………………9
1.2.7 电子商务 …………………………………………………10
1.3 有多少智能，就有多少人工……………………………………10
1.3.1 有监督的机器学习 ………………………………………10
1.3.2 最后一批人工智能的“老师” ……………………………11
1.4 数据越多，智能越好……………………………………………12
1.5 作业与练习………………………………………………………14
参考文献… ……………………………………………………………14
第2章 数据采集与清洗………………………………………16
2.1 标注对象…………………………………………………………16
2.1.1 主要的数据来源 …………………………………………16
2.1.2 常见的标注数据 …………………………………………17
X 数据标注工程
2.2 数据采集………………………………………………………… 18
2.2.1 数据采集方法 …………………………………………… 18
2.2.2 数据采集流程 …………………………………………… 19
2.2.3 标注数据采集 …………………………………………… 20
2.3 数据清洗…………………………………………………………23
2.3.1 数据清洗方法 …………………………………………… 24
2.3.2 数据清洗流程 …………………………………………… 26
2.3.3 MapReduce 数据去重 …………………………………… 26
2.4 作业与练习………………………………………………………28
参考文献… ……………………………………………………………28
第3 章 数据标注分类…………………………………………29
3.1 图像标注…………………………………………………………29
3.1.1 什么是图像标注 ………………………………………… 29
3.1.2 图像标注应用领域 ……………………………………… 30
3.2 语音标注…………………………………………………………35
3.2.1 什么是语音标注 ………………………………………… 35
3.2.2 客服录音数据标注规范 ………………………………… 35
3.3 文本标注…………………………………………………………38
3.3.1 什么是文本标注 ………………………………………… 38
3.3.2 文本标注应用领域 ……………………………………… 38
3.4 作业与练习……………………………………………………… 41
参考文献… …………………………………………………………… 41
第4 章 数据标注质量检验……………………………………42
4.1 数据质量影响算法效果…………………………………………42
4.2 数据标注质量标准………………………………………………44
4.2.1 图像标注质量标准 ……………………………………… 44
4.2.2 语音标注质量标准 ……………………………………… 47
4.2.3 文本标注质量标准 ……………………………………… 48
4.3 数据标注质量检验方法…………………………………………48
4.3.1 实时检验 ………………………………………………… 48
目 录XI
4.3.2 全样检验 ………………………………………………… 50
4.3.3 抽样检验 ………………………………………………… 50
4.4 作业与练习………………………………………………………53
参考文献… ……………………………………………………………53
第5 章 数据标注管理………………………………………… 55
5.1 数据标注工厂设计………………………………………………55
5.2 数据标注管理架构………………………………………………59
5.3 数据安全管理与质量管理体系…………………………………60
5.3.1 数据存储安全管理要求 ………………………………… 60
5.3.2 工厂人员行为管理 ……………………………………… 61
5.3.3 溯源体系建设 …………………………………………… 61
5.3.4 质量管理体系建设 ……………………………………… 62
5.4 数据标注项目评估………………………………………………63
5.5 数据标注订单管理………………………………………………64
5.6 数据标注客户关系管理…………………………………………65
5.7 作业与练习………………………………………………………66
参考文献… ……………………………………………………………66
第6 章 数据标注应用…………………………………………68
6.1 自动驾驶…………………………………………………………68
6.1.1 自动驾驶的发展 ………………………………………… 68
6.1.2 自动驾驶的9 种数据标注 ……………………………… 70
6.2 智能安防…………………………………………………………75
6.2.1 智能安防的发展分析 …………………………………… 75
6.2.2 智能安防的5 种数据标注 ……………………………… 77
6.3 智能医疗…………………………………………………………80
6.3.1 智能医疗的发展 ………………………………………… 80
6.3.2 智能医疗应用的4 种数据标注 ………………………… 80
6.4 作业与练习………………………………………………………82
参考文献… ……………………………………………………………83
XII 数据标注工程
第7 章 数据标注实战…………………………………………84
7.1 实战环境搭建……………………………………………………84
7.1.1 标注工具安装环境搭建 ………………………………… 84
7.1.2 LabelImg 标框标注工具的使用方法 …………………… 92
7.1.3 Labelme 工具的安装与使用方法 ……………………… 100
7.2 医疗影像标注………………………………………………… 104
7.3 遥感影像标注………………………………………………… 106
7.4 车牌图像标注………………………………………………… 109
7.4.1 车牌图像标框标注 …………………………………… 109
7.4.2 车牌图像分类标注 …………………………………… 110
7.5 人像数据标注………………………………………………… 113
7.5.1 行人图像标注 ………………………………………… 113
7.5.2 人脸数据标注 ………………………………………… 116
7.6 作业与练习…………………………………………………… 121
参考文献… ………………………………………………………… 121
附录 大数据实验平台（数据标注版）… ………………… 122