深度学习：原理及遥感地学分析

目录
前言
基础篇
第1章　概率论　3
1.1　概率的本质　3
1.2　典型概率分布　6
1.2.1　伯努利分布　6
1.2.2　二项分布　7
1.2.3　贝塔分布　7
1.2.4　多项分布　8
1.2.5　狄利克雷分布　9
1.2.6　高斯分布　10
1.2.7　学生t分布　13
1.2.8　指数及拉普拉斯分布　14
1.3　随机变量的数字特征及信息测度　15
1.4　指数族分布函数　17
1.5　混合分布　18
1.6　小结　19
参考文献　20
第2章　线性代数　21
2.1　基本数据类型　21
2.2　基本运算　22
2.3　求导运算　24
2.4　特征值提取及主成分分析　27
2.5　奇异值分解　31
2.6　小结　33
参考文献　34
第3章　MCMC随涵拟　35
3.1　问题的提出　35
3.2　蒙特卡罗方法　36
3.2.1　方法基础　36
3.2.2　拒绝性抽样　37
3.2.3　重要性抽样　38
3.3　MCMC方法　39
3.4　M-H采样　40
3.5　Gibbs采样　42
3.6　应用实例　44
3.6.1　模拟Beta分布的概率分布　44
3.6.2　采用Gibbs抽样模拟二维正态分布　45
3.6.3　模拟退火求极值问题　45
3.7　小结　46
参考文献　46
第4章　变分优化法　48
4.1　问题的提出　48
4.2　泛函　49
4.3　变分法　50
4.4　EM算法　53
4.5　*大熵变分方法　55
4.6　求后验分布的变分推断　57
4.7　小结　60
参考文献　61
第5章　懸学习基础　62
5.1　学习目标　62
5.2　评价标准　64
5.2.1　基于概率的评价标准　64
5.2.2　基于损失函数的评价标准　65
5.2.3　基于信息论的评价标准　67
5.3　监督学习方法　68
5.3.1　单学习器　68
5.3.2　集成学习器　72
5.4　非监督学习方法　83
5.4.1　主成分分析　84
5.4.2　高斯混合模型　84
5.5　偏差与方差：提高模型泛化能力　87
5.5.1　偏差与方差　87
5.5.2　正则化　88
5.5.3　贝叶斯统计学方法　90
5.5.4　MAP点估计　90
5.6　机器学习流程　91
5.7　向深度学习器的演化　92
5.8　小结　93
参考文献　93
方法篇
第6章　前馈神经网络　97
6.1　主要构成要素　97
6.1.1　目标函数　97
6.1.2　输入及隐藏层　98
6.1.3　输出层　102
6.2　深层系统架构　107
6.3　反向传播算法原理　108
6.3.1　全微分　108
6.3.2　复合函数求导　110
6.3.3　反向传播算法　111
6.4　自动微分　113
6.4.1　不同的微分方法　114
6.4.2　后向梯度计算模式　115
6.4.3　前向及后向传播过程　117
6.4.4　高效的计算图及其实现算法　119
6.5　小结　125
参考文献　125
第7章　模型训练及优化　127
7.1　参数正则化　127
7.2　限制性优化　134
7.3　数据增强　139
7.4　迁移学习　140
7.5　多任务学习及参数共享　141
7.6　集成学习方法　144
7.7　Dropout方法　145
7.8　Early Stopping方法　147
7.9　mini batch梯度下降法　149
7.10　批正则化　152
7.11　优化算法主要挑战　155
7.12　参数初始化　157
7.13　基本梯度学习方法　159
7.14　适应性梯度学习方法　162
7.15　高阶优化　167
7.16　算法优化策略　168
7.17　小结　170
参考文献　172
第8章　卷积神经网络　174
8.1　神经生物学基础　174
8.2　感受野　175
8.3　卷积运算　175
8.3.1　离散卷积　175
8.3.2　卷积神经网络中的卷积运算　176
8.3.3　填充　177
8.4　CNN基本结构　178
8.4.1　卷积层　178
8.4.2　池化层（下采样层）　180
8.4.3　全连接层　181
8.4.4　激活函数　181
8.4.5　损失函数与优化方法　181
8.5　卷积神经网络发展历史　182
8.5.1　LeNet-5模型　183
8.5.2　AlexNet模型　184
8.5.3　VGGNet模型　186
8.5.4　GoogleLeNet模型　187
8.5.5　ResNet模型　187
8.6　卷积神经网络在遥感地学方面的应用　189
8.7　小结　190
参考文献　190
第9章　循环神经网络　194
9.1　循环神经网络的网络结构及原理　194
9.1.1　单向循环神经网络　195
9.1.2　时序反向传播算法　196
9.1.3双向循环神经网络　198
9.2　长短期记忆网络及其变体　199
9.2.1　长短期记忆网络　200
9.2.2　门控循环单元　201
9.2.3　RNN其他变体　202
9.3　混合神经网络　203
9.4　循环神经网络的应用　204
9.4.1　自然语言处理　204
9.4.2　地球科学　205
9.4.3　其他　206
9.5　小结　206
参考文献　207
第10章　其他网络建模方法　211
10.1　反卷积神经网络　211
10.2　自动编码器　212
10.3　t-SNE方法　213
10.4　变分自动编码器　214
10.5　生成对抗网络　218
10.6　深度信任网络　220
10.7　注意力机制　223
10.8　图网络　227
10.9　自然语言处理的网络模型　232
10.9.1　基本语言模型　232
10.9.2　tf-ldf重要性提取　233
10.9.3　word2vec方法　234
10.9.4神经概率语言模型　236
10.9.5　基于Hierarchical Softmax的模型　238
10.9.6　CBOM模型　239
10.9.7　sklp-gram模型　241
10.10　小结　242
参考文献　243
遥感地学分析篇
第11章　遥感地学分析概述　247
11.1　背景介绍　247
11.2　遥感地学智能分析的系统框架　250
参考文献　254
第12章　遥感图像土地利用分类　256
12.1　遥感图像土地利用分类方法综述　256
12.1.1　遥感图像土地利用分类方法　256
12.1.2　基于深度学习的遥感图像语义分割　258
12.2　相关工作　259
12.2.1　残差学习　260
12.2.2　多尺度　261
12.2.3　基于深度学习的语义分割　262
12.3　多尺度深度残差自动编码　263
12.3.1　基于自动编码器的结构　263
12.3.2　两种残差连接　264
12.3.3　空洞卷积和多尺度的融合　265
12.3.4　训练集的采样和边界效应　266
12.3.5　衡量指标和损失函数　267
12.3.6　执行过程　268
12.4数据集与训练　269
12.4.1　数据集　270
12.4.2　训练及测试　271
12.5　土地利用分类结果及讨论　271
12.6　小结　278
参考文献　279
第13章　建筑物识别　286
13.1　遥感图像建筑物识别方法研究　286
13.2　基于形状表示和多尺度的深度残差分割方法　287
13.2.1　U-Net结构　287
13.2.2　残差学习　289
13.2.3　ASPP　289
13.2.4　形状表示自动编码器的正则化方法　290
13.2.5　损失函数，多尺度和边界效应　291
13.3　实验数据集和评估　292
13.3.1　研究区域　293
13.3.2　评估　293
13.4　建筑物识别结果　294
13.5　小结　301
参考文献　302
第14章　气象参数预测　306
14.1　应用综述　306
14.2　中国大陆风速时空数据　307
14.2.1　研究区域　308
14.2.2　测量数据　308
14.2.3　协变量　308
14.3　研究方法　309
14.3.1　阶段1：地理加权学习　310
14.3.2　阶段2：基于深度残差网络的降尺度　314
14.3.3　超参数优化与验证　315
14.4　风速预测结果　315
14.4.1　数据总结和预处理　315
14.4.2　阶段1的训练模型　316
14.4.3　阶段2的预测和降尺度　318
14.5　小结　322
参考文献　324
第15章　遥感气溶胶数据缺值处理　327
15.1　缺值数据插补方法概述　327
15.2　MAIAC AOD数据　328
15.2.1　案例研究区域　328
15.2.2　数据变量　329
15.3　降尺度与深度学习结合的插补方法　330
15.3.1　MAIAC AOD预处理　330
15.3.2　基于自动编码器的深度残差网络　331
15.3.3　基于深度残差网络的MERRA-2GMI重放模拟AOD降尺度　335
15.3.4　全模型和非全模型　336
15.3.5　超参数调整与验证　336
15.3.6　利用AERONET数据进行偏差校正　337
15.4　插补结果　338
15.4.1　卫星AOD和协变量概要　338
15.4.2　MERRA-2GMI重放模拟AOD降尺度　339
15.4.3　插补　343
15.4.4　用AERONET数据验证模型并校正偏差　344
15.5　小结　346
参考文献　348
第16章　地表参数反演　352
16.1　遥感反演模型概述　352
16.2　利用自动微分法转换卫星AOD与GAC　353
16.3　GAC模拟的材料和方法　354
16.3.1　案例研究区域　354
16.3.2　数据集　354
16.3.3　地面气溶胶消光系数的模拟　355
16.3.4　自动微分法求解　357
16.3.5　验证和比较　361
16.4　GAC模拟结果　361
16.4.1　描述性统计　361
16.4.2　学习和验证　362
16.4.3　方法比较　363
16.4.4　地面气溶胶系数模拟值和PMu预测值的空间分布　3