深度学习

目录
第 1章浅层模型 ............................................................... 1
1.1深度学习史前发展史 ........................................................ 1
1.1.1数据分析的初级阶段：手工演算阶段 ........................................ 1
1.1.2数据分析的中级阶段：浅层模型阶段 ......................................... 3
1.1.3数据分析的高级阶段：大数据深度学习阶段 .................................. 4
1.2线性回归模型 .............................................................. 7
1.2.1极小二乘线性回归 ........................................................ 8
1.2.2模型选择：模型容量与过拟合和欠拟合问题 ................................ 19
1.2.3属性空间、假设函数空间与基于核函数的特征映射 ...................... 22
1.2.4特征选择 ............................................................... 26
1.2.5回归分析的概率解释 ..................................................... 32
1.3 Logistics二分类模型 ..................................................... 33
1.4 Softmax多分类模型 ....................................................... 37
1.5 广义线性模型 ............................................................ 42
参考文献 .................................................................... 52

第 2章深度神经网络 .......................................................... 56
2.1引言 ..................................................................... 56
2.2 BP神经网络 .............................................................. 58
2.2.1从生物神经元到 MP神经元模型 .......................................... 58
2.2.2 BP神经网络结构 ........................................................ 59
2.2.3 BP算法 ................................................................ 64
2.2.4 BP算法算例 ............................................................ 72
2.3从 BP网络到深度网络 ...................................................... 73
2.3.1梯度消失：多层 BP网络训练难题 ........................................... 74
2.3.2逐层贪心预训练 +全局微调 ............................................. 76
2.4深度网络的进一步解释 ..................................................... 83
2.5克服过拟合：深度网络中的正则化技术 ........................................ 85
2.5.1模型约束技术 ........................................................... 86
2.5.2输入约束技术 ........................................................... 88
2.5.3模型集成技术 ........................................................... 92
2.6深度网络发展史 ........................................................... 98
2.6.1早期神经网络模型（ 1958—1969年） ....................................... 98
2.6.2深度学习萌芽期（ 1969—2006年） .......................................... 99
2.6.3深度学习爆发期（2006年至今） ............................................100
参考文献 ....................................................................101

第 3章卷积神经网络 .........................................................108
3.1引言 ....................................................................108
3.2卷积的数学公式及其含义 .................................................109
3.3卷积神经网络的技术细节 .................................................114
3.3.1计算机“眼”中的图像 ...............................................115
3.3.2卷积神经网络 ..........................................................116
3.3.3卷积神经网络的结构 .................................................116
3.3.4 CNNs训练算法 ..........................................................121
3.3.5卷积网提取特征的可视化 .............................................129
3.4 CNNs的变体 ..............................................................131
3.4.1关于卷积核的变体 .....................................................132
3.4.2关于卷积通道的变体 ..................................................136
3.4.3关于卷积层连接的变体 .................................................141
3.5卷积网络在自动驾驶中的应用 .............................................145
3.6 卷积网络发展史 .........................................................146
参考文献 ................................................................148

第 4章反馈神经网络 ........................................................151
4.1引言 ....................................................................151
4.2反馈神经网络 ............................................................153
4.2.1统计语言模型 .......................................................154
4.2.2 RNNs的网络结构 ........................................................158
4.2.3 RNNs的训练算法：BPTT ...............................................162
4.2.4 RNNs的误差沿时间轴传播公式 .........................................170
4.2.5 RNNs的变体 ..........................................................172
4.3长短期记忆单元反馈神经网络 ............................................175
4.3.1早期解决长时间序列学习难题的朴素方法 .................................176
4.3.2 LSTM网络结构 .........................................................177
4.3.3 LSTM的前向计算 ....................................................179
4.3.4 LSTM的反向计算 .....................................................181
4.3.5 LSTM的权值更新 .....................................................184
4.3.6理解 LSTM网络 ........................................................186
4.4时间序列处理中的几种重要机制 ..........................................188
4.4.1处理变长序列的编码器-解码器模型 ..................................189
4.4.2注意力机制 ............................................................192
4.4.3序列自动对齐的 CTC技术 .............................................195
4.4.4小结 .............................................................215
4.5深度反馈网络在时间序列处理中的应用 ....................................216
4.5.1 Google神经机器翻译系统 ...............................................216
4.5.2深度语音识别系统 ..................................................219
4.5.3用 LSTM编程和写作 ..................................................223
4.6 反馈神经网络发展现状 ....................................................229
参考文献 ...................................................................229

第 5章深度强化学习 .........................................................234
5.1引言 ....................................................................234
5.2马尔可夫决策过程 .....................................................238
5.2.1马尔可夫过程 .......................................................239
5.2.2马尔可夫奖励过程 .....................................................243
5.2.3马尔可夫决策过程 .....................................................246
5.2.4广义策略迭代 ..........................................................255
5.2.5小结 .................................................................257
5.3强化学习算法 ............................................................257
5.3.1动态规划算法 ........................................................258
5.3.2蒙特卡罗算法 ..........................................................263
5.3.3时间差分学习算法 ......................................................274
5.3.4小结 ..................................................................297
5.4深度强化学习算法 ........................................................299
5.4.1基于深度网络的状态价值和动作价值函数近似 ...........................301
5.4.2基于深度网络的策略梯度法 ..........................................307
5.5深度强化学习的应用 .....................................................317
5.5.1围棋 AlphaGo ........................................................317
5.5.2从 AlphaGo到 AlphaGo Zero............................................332
5.5.3基于像素的乒乓球游戏 .................................................341
5.6深度强化学习发展现状 ................................................344
5.6.1强化学习起源与发展现状 ................................................344
5.6.2深度强化学习在棋类中的应用 ............................................345
5.6.3深度强化学习技术在自主智能体中的应用 .................................347
参考文献 ..................................................................350
后记 ........................................................................353