物联网大数据分析实战

第1章  物联网分析和挑战 1
1.1  虚拟情境 1
1.2  物联网分析的定义 4
1.2.1  分析的定义 4
1.2.2  物联网的定义 6
1.2.3  受限的概念 8
1.3  物联网数据分析的挑战 8
1.3.1  大数据量 8
1.3.2  与时间相关的问题 10
1.3.3  与空间相关的问题 12
1.3.4  数据质量问题 13
1.3.5  分析方面的挑战 14
1.4  和商业价值发现相关的考虑因素 15
1.5  小结 15
第2章  物联网设备和网络协议 17
2.1  物联网设备 17
2.1.1  物联网设备的缤纷世界 18
2.1.2  医疗保健 18
2.1.3  制造业 18
2.1.4  运输和物流 19
2.1.5  零售业 19
2.1.6  石油和天然气 19
2.1.7  家庭自动化和监控 20
2.1.8  可穿戴设备 20
2.1.9  传感器类型 20
2.2  有关网络的基础知识 21
2.3  物联网网络连接协议 23
2.3.1  电源受限时的连接协议 23
2.3.2  电源不受限时的连接协议 33
2.4  物联网网络数据消息传递协议 36
2.4.1  MQTT 36
2.4.2  超文本传输协议 44
2.4.3  CoAP 46
2.4.4  DDS 49
2.4.5  DDS的常见用例 51
2.5  分析数据以推断协议和设备特征 52
2.6  小结 54
第3章  云和物联网分析 55
3.1  构建弹性数据分析 56
3.1.1  关于云基础设施 56
3.1.2  弹性分析的概念 58
3.1.3  设计时要考虑最终结果 60
3.2  可扩展设计 60
3.2.1  解耦关键组件 60
3.2.2  封装分析 60
3.2.3  与消息队列解耦 61
3.2.4  分布式计算 63
3.2.5  避免将分析局限在一台服务器上 63
3.2.6  使用一台服务器的恰当时机 63
3.2.7  假设变化一直发生 63
3.2.8  利用托管服务 64
3.2.9  使用应用程序编程接口 64
3.3  云安全和数据分析 66
3.3.1  公钥/私钥 66
3.3.2  公共子网与私有子网 66
3.3.3  访问限制 66
3.3.4  保护客户数据的安全 67
3.4  AWS概述 67
3.4.1  AWS关键概念 69
3.4.2  AWS关键核心服务 70
3.4.3  用于物联网分析的AWS关键服务 74
3.5  Microsoft Azure概述 76
3.5.1  Azure数据湖存储 76
3.5.2  Azure分析服务 77
3.5.3  HDInsight 78
3.5.4  R服务器选项 78
3.6  ThingWorx概述 79
3.6.1  ThingWorx Core 80
3.6.2  ThingWorx Connection Services 80
3.6.3  ThingWorx Edge 81
3.6.4  ThingWorx概念 82
3.7  小结 84
第4章  创建AWS云分析环境 85
4.1  AWS CloudFormation概述 85
4.2  AWS虚拟私有云设置 87
4.2.1  为NAT和Bastion实例创建密钥对 88
4.2.2  创建S3存储桶来存储数据 90
4.3  为物联网分析创建VPC 91
4.3.1  关于NAT网关 92
4.3.2  关于Bastion主机 92
4.3.3  关于VPC架构 93
4.3.4  VPC创建演练 94
4.4  如何终止和清理环境 102
4.5  小结 105
第5章  收集所有数据的策略和技术 107
5.1  数据处理 108
5.1.1  Amazon Kinesis 108
5.1.2  AWS Lambda 108
5.1.3  AWS Athena 109
5.1.4  AWS物联网平台 110
5.1.5  Microsoft Azure IoT Hub 111
5.2  将大数据技术应用于存储 113
5.2.1  关于Hadoop 113
5.2.2  Hadoop集群架构 116
5.2.3  关于节点 117
5.2.4  节点类型 117
5.2.5  Hadoop分布式文件系统 117
5.2.6  Apache Parquet 119
5.2.7  Avro 122
5.2.8  Hive 123
5.2.9  序列化/反序列化 126
5.2.10  Hadoop MapReduce 126
5.2.11  YARN 127
5.2.12  HBase 128
5.2.13  Amazon DynamoDB 128
5.2.14  Amazon S3 129
5.3  数据处理和Apache Spark 129
5.3.1  关于Apache Spark 129
5.3.2  Apache Spark和大数据分析 130
5.3.3  单机和机器集群的比较 131
5.3.4  使用Apache Spark进行物联网数据处理 132
5.4  数据流 134
5.4.1  流数据分析 134
5.4.2  Lambda架构 135
5.5  处理更改 136
5.6  小结 137
第6章  了解数据—探索物联网数据 139
6.1  探索和可视化数据 140
6.1.1  Tableau概述 140
6.1.2  了解数据质量 142
6.1.3  查看数据 142
6.1.4  数据的完整性 144
6.1.5  数据的有效性 149
6.1.6  评估信息滞后情况 151
6.1.7  代表性 152
6.1.8  基本时间序列分析 152
6.1.9  关于时间序列 152
6.1.10  应用时间序列分析 152
6.1.11  了解数据中的分类 156
6.1.12  引入地理信息分析 156
6.2  寻找可能具有预测价值的特性 157
6.3  使用R语言 158
6.3.1  安装R和RStudio 158
6.3.2  使用R进行统计分析 158
6.4  数据探索初步结果 162
6.5  解决特定行业的分析问题 162
6.5.1  制造业 162
6.5.2  医疗保健 163
6.5.3  零售业 164
6.6  小结 164
第7章  增强数据价值—添加内部和外部数据集 165
7.1  添加内部数据集 166
7.2　添加外部数据集 168
7.2.1　外部数据集—地理 168
7.2.2　外部数据集—人口统计 175
7.2.3　外部数据集—经济 178
7.3　小结 181
第8章  与他人交流—可视化和仪表板 183
8.1  可视化设计中的常见错误 184
8.1.1  避免可视化错误的技巧 185
8.1.2  可视化错误示例 186
8.2  问题分层方法 187
8.2.1  问题分层方法概述 188
8.2.2  开发问题树 189
8.2.3  将所需的数据汇总在一起 192
8.2.4  使视图与问题流保持一致 192
8.3  物联网数据分析的可视化设计 192
8.3.1  使用位置来传达重要性 193
8.3.2  使用颜色突出显示重要数据 193
8.3.3  单一颜色对传达重要信息的影响 193
8.3.4  在视觉效果上保持一致 194
8.3.5  使图表易于解释 195
8.4  使用Tableau创建仪表板 195
8.4.1  仪表板创建演练 195
8.4.2  问题层次结构示例 196
8.4.3  使视图与思维过程保持一致 197
8.4.4  创建单独的视图 198
8.4.5  将视图组装到仪表板中 201
8.5  创建和可视化警报 203
8.5.1  警报设计原则 203
8.5.2  使用Tableau仪表板组织警报 203
8.6  小结 206
第9章  对物联网数据应用地理空间分析 209
9.1  对物联网数据应用地理空间分析的优点 210
9.2  地理空间分析的基础知识 212
9.2.1  欢迎来到空岛 212
9.2.2  坐标参考系统 213
9.2.3  地球并非完美球体 213
9.3  基于向量的方法 216
9.3.1  边界框 217
9.3.2  包含 218
9.3.3  缓冲 219
9.3.4  膨胀和侵蚀 219
9.3.5  简化 221
9.3.6  研究更多基于向量的方法 221
9.4  基于栅格的方法 221
9.5  存储地理空间数据 223
9.5.1  文件格式 223
9.5.2  关系数据库的空间数据扩展 224
9.5.3  在HDFS中存储地理空间数据 225
9.5.4  空间数据索引 225
9.5.5　R树 226
9.6  处理地理空间数据 227
9.6.1  地理空间分析软件 227
9.6.2　PostGIS空间数据函数 230
9.6.3  大数据世界中的地理空间分析 231
9.7  解决污染报告问题 231
9.8  小结 232
第10章  物联网分析和数据科学 235
10.1  机器学习 236
10.1.1  关于机器学习 236
10.1.2  表示 238
10.1.3  评估 238
10.1.4  优化 238
10.1.5  泛化 240
10.2  使用物联网数据进行特征工程 241
10.2.1  处理缺失值 241
10.2.2  居中和缩放 247
10.2.3  时间序列处理 248
10.3  验证方法 249
10.3.1  交叉验证 249
10.3.2  测试集 250
10.3.3  精确率、召回率和特异性 251
10.4  理解偏差-方差权衡 253
10.4.1  偏差 253
10.4.2  方差 254
10.4.3  权衡和复杂性 255
10.5  使用R比较不同的模型 256
10.5.1  ROC曲线 256
10.5.2  曲线下面积 260
10.6  使用R构建随机森林模型 261
10.6.1  随机森林关键概念 261
10.6.2  随机森林R示例 262
10.7  使用R构建梯度提升机模型 264
10.7.1  GBM的关键概念 265
10.7.2  梯度提升机R示例 266
10.7.3  集成方法 267
10.8  使用R进行异常检测 268
10.9  使用ARIMA进行预测 269
10.9.1  关于ARIMA 269
10.9.2  使用R预测时间序列物联网数据 270
10.10  深度学习 271
10.10.1  使用物联网数据进行深度学习的用例 272
10.10.2  深度学习纵览 272
10.10.3  在AWS上设置TensorFlow 274
10.11  小结 274
第11章  组织数据的策略 275
11.1  链接分析数据集 276
11.1.1  分析数据集 276
11.1.2  构建分析数据集 276
11.1.3  将数据集链接在一起 278
11.2  管理数据湖 281
11.2.1  防止数据湖变成数据沼泽 281
11.2.2  数据提炼 281
11.2.3  数据开发过程 282
11.3  数据保留策略 283
11.3.1  目标 284
11.3.2  物联网数据的保留策略 284
11.3.3　保留策略示例 286
11.4  小结 287
第12章  物联网分析的经济意义 289
12.1  云计算的经济意义 290
12.1.1  可变成本与固定成本 290
12.1.2  退出选项 291
12.1.3  云成本可能会迅速上升 292
12.1.4  密切监控云计费 292
12.2  开源软件的经济意义 292
12.2.1  知识产权考虑 292
12.2.2  可扩展性 293
12.2.3  技术支持 294
12.3  物联网分析的成本考虑 294
12.3.1  云服务成本 294
12.3.2  考虑未来使用需求 294
12.4  考虑增加收入的机会 294
12.4.1  对当前业务的拓展 295
12.4.2  新的收入机会 295
12.5  预测性维护的经济意义示例 297
12.5.1  预测性维护的现实情境 297
12.5.2  价值公式 297
12.5.3  价值决策示例 298
12.6  小结 305
第13章  总结和建议 307
13.1  本书关键主题回顾 307
13.1.1  物联网数据流 308
13.1.2  物联网探索性分析 309
13.1.3  物联网数据科学 310
13.1.4  通过物联网分析增加收入 311
13.2  示例挑战项目 312
13.3  小结 313