实用深度学习基础

第1章人工智能技术概览

1．1人工智能的概念

1．1．1智能的基本概念

1．1．2人类智能的度量

1．1．3人工智能的概念

1．2人工智能的发展历程

1．2．1人工智能诞生前的50年

1．2．2人工智能发展的第一阶段

1．2．3人工智能发展的第二阶段

1．2．4人工智能发展的第三阶段

1．3人工智能的学术流派

1．3．1戴维·阿兰格里尔的学术流派划分

1．3．2佩德罗·多明戈斯的学术流派划分

1．3．3人工智能学术流派的重新划分

1．4人工智能的未来发展

1．4．1无监督学习、元学习正在突破通用智能

1．4．2实时强化学习技术趋于成熟

1．4．3可解释性知识推理技术成为研究重点

1．4．4开放式持续学习技术受到广泛关注

1．4．5不同流派人工智能技术融合认知开辟新的技术路径

1．4．6应用场景朝小数据量、恶劣环境、非完整数据方向发展

1．5本章小结

参考文献

第2章机器学习理论基础

2．1机器学习基本概念

2．1．1学习与机器学习

2．1．2机器学习的分类

2．1．3感知机及其学习算法

2．2可能近似正确学习理论

2．2．1机器学习的不可行性

2．2．2概率近似正确学习理论

2．3VC维理论

2．3．1假设的有效数量

2．3．2突破点

2．3．3上限函数

2．3．4VC维

2．4三个最基本机器学习模型

2．4．1线性分类

2．4．2线性回归

2．4．3逻辑回归

2．4．4三种基本机器学习算法对比分析

2．5本章小结

参考文献

第3章深度学习基础

3．1深度学习的基本定义和特点

3．1．1神经元与生物神经网络

3．1．2人工神经元及其分类能力

3．1．3单隐含层神经网络的能力

3．1．4深度学习

3．2深度学习网络设计的三个核心问题

3．2．1定义网络结构

3．2．2目标函数选择

3．2．3优化算法选择

3．3后向传播算法

3．3．1输出端的损失梯度

3．3．2隐含层的损失梯度

3．3．3神经网络参数的损失梯度

3．3．4算法整理流图

3．4本章小结

参考文献

第4章深度学习网络优化技巧

4．1深度学习网络优化学习

4．1．1定义网络结构

4．1．2目标函数选择

4．1．3优化算法选择

4．1．4深度学习算法检查

4．2新激活函数选择

4．2．1梯度消失问题

4．2．2ReLU函数

4．2．3ReLU函数的变形

4．2．4其他激活函数

4．3优化算法

4．3．1基本优化算法

4．3．2梯度方向调整优化算法

4．3．3自适应学习率

4．3．4步长和方向联合优化算法

4．4测试集性能优化技巧

4．4．1提前终止策略

4．4．2正则化

4．4．3丢弃法

4．5本章小结

参考文献

第5章卷积神经网络

5．1卷积神经网络概述

5．1．1卷积神经网络的历史

5．1．2卷积神经网络的结构

5．2卷积神经网络与全连接网络的关系

5．2．1连接稀疏性

5．2．2参数共享机制

5．3典型的卷积神经网络

5．3．1LeNet5网络

5．3．2AlexNet网络

5．3．3ZFNet网络

5．3．4VGGNet网络

5．3．5GoogLeNet网络

5．3．6残差网络

5．3．7挤压激励网络

5．3．8区域卷积神经网络及其拓展版本

5．4本章小结

参考文献

本章知识点补充

第6章循环神经网络

6．1循环神经网络的引入

6．2循环神经网络的结构

6．3循环神经网络的训练

6．3．1循环神经网络的前向传播

6．3．2循环神经网络的依时间反向传播

6．3．3循环神经网络的梯度消失与梯度爆炸问题

6．4长短时记忆单元与门循环单元

6．4．1长短时记忆单元

6．4．2门循环单元

6．5循环神经网络的扩展

6．5．1深层循环神经网络

6．5．2双向循环神经网络

6．6循环神经网络的应用

6．6．1多到一模式

6．6．2一到多模式

6．6．3同步多到多模式

6．6．4异步多到多模式

6．7本章小结

参考文献

第7章神经网络的区分性训练

7．1最小交叉熵与最大似然估计

7．2区分性训练准则

7．3序列模型的区分性训练

7．3．1最大互信息准则

7．3．2增强型MMI

7．3．3最小音素错误/状态级最小贝叶斯风险

7．3．4序列区分性训练准则的一般形式

7．4序列区分性训练准则应用实例

7．4．1基于词图的序列区分性训练

7．4．2词图无关的序列区分性训练

7．5本章小结

参考文献

第8章序列到序列模型

8．1序列到序列模型基本原理

8．1．1序列到序列模型的引入

8．1．2序列到序列模型构成

8．2连续时序分类准则

8．2．1连续时序分类准则定义

8．2．2连续时序分类准则的解码

8．3注意力模型

8．3．1注意力模型定义与原理

8．3．2自注意力机制

8．4Transformer模型

8．4．1Transformer模型组成

8．4．2Transformer模型的核心技术

8．5BERT模型与GPT模型

8．5．1BERT模型

8．5．2GPT模型

8．5．3与其他模型异同点分析

8．6后BERT模型时代的新模型算法

8．6．1XLNet模型及原理

8．6．2ERNIE模型及原理

8．6．3ALBERT模型及原理

8．7序列到序列模型的应用

8．8本章小结

参考文献

第9章自编码器

9．1自编码器的定义与基本原理

9．1．1自编码器的通用框架

9．1．2栈式自编码器

9．2正则自编码器

9．2．1稀疏自编码器

9．2．2降噪自编码器

9．2．3收缩自编码器

9．3变分自编码器

9．3．1目标函数

9．3．2优化过程

9．3．3条件变分自编码器

9．4VAE的改进算法

9．4．1betaVAE

9．4．2infoVAE

9．5对抗自编码器

9．5．1AAE与VAE

9．5．2introVAE

9．6本章小结

参考文献

第10章迁移学习

10．1迁移学习的基本原理

10．1．1迁移学习的定义

10．1．2迁移学习的分类

10．1．3迁移学习的意义

10．2基于特征的迁移学习

10．2．1分布差异矩阵

10．2．2特征增强

10．2．3特征映射

10．2．4特征选择

10．2．5特征对齐

10．2．6基于深度学习的特征迁移

10．3基于模型的迁移学习

10．3．1深度网络的可迁移性

10．3．2基于KL散度的迁移学习

10．3．3基于知识蒸馏的迁移学习

10．4基于样例的迁移学习

10．5迁移学习前沿

10．5．1混合智能迁移学习

10．5．2传递式迁移学习

10．5．3终身迁移学习

10．5．4对抗迁移学习

10．5．5迁移强化学习

10．5．6迁移学习的可解释性

10．6本章小结

参考文献

第11章终身学习

11．1终身学习原理

11．1．1终身学习的定义

11．1．2DARPA的L2M项目

11．1．3终身学习的关键问题

11．2深度学习与终身学习

11．2．1生物学依据

11．2．2现有方法的分类

11．3弹性权值巩固

11．3．1EWC中的贝叶斯理论

11．3．2EWC的目标函数

11．3．3参数重要性的估计

11．4自组织增量学习神经网络

11．4．1自组织映射

11．4．2自组织增量学习神经网络

11．4．3算法优、缺点

11．5梯度情景记忆

11．5．1知识的前向迁移与后向迁移

11．5．2情景记忆损失函数

11．5．3模型求解

11．6本章小结

参考文献

第12章生成对抗网络

12．1生成对抗网络引入

12．1．1无监督学习与生成模型

12．1．2生成对抗网络简介

12．2生成对抗网络的基本原理

12．3生成对抗网络训练过程的数学推导

12．3．1最大似然估计

12．3．2生成对抗网络的训练准则函数

12．3．3生成对抗网络的训练过程

12．4生成对抗网络的工程实现及主要问题

12．4．1生成对抗网络的工程实现

12．4．2生成对抗网络的工程实现中的问题

12．5GAN的变体

12．5．1WGAN

12．5．2条件GAN

12．5．3CycleGAN

12．5．4InfoGAN

12．5．5BiGAN

12．6本章小结

参考文献

第13章深度强化学习

13．1强化学习基本概念与原理

13．2强化学习的数学模型、求解框架及分类

13．2．1马尔可夫决策过程

13．2．2值函数与策略函数

13．2．3策略迭代与值迭代求解框架

13．2．4强化学习的分类

13．3基于值函数的深度强化学习

13．3．1深度Q网络算法

13．3．2DQN算法的变种

13．4基于策略函数的深度强化学习

13．5基于参与者评价者的深度强化学习

13．5．1A2C与A3C算法

13．5．2PPO算法

13．6本章小结

参考文献

第14章元学习

14．1元学习的定义及原理

14．1．1元学习的定义

14．1．2元学习系统的组成

14．1．3元学习的主要现状

14．2模型无关的元学习方法

14．2．1相关概念

14．2．2MAML算法原理

14．2．3MAML算法流程

14．2．4MAML算法具体实现

14．3一阶模型无关元学习方法Reptile

14．3．1Reptile算法的基本原理

14．3．2Reptile算法理论分析

14．4自适应梯度更新规则元学习方法

14．4．1简单LSTM方法

14．4．2复杂LSTM方法

14．5度量元学习方法

14．5．1匹配网络

14．5．2原型网络

14．5．3关系网络

14．6本章小结

参考文献

第15章自监督学习

15．1自监督学习的基本原理

15．1．1自监督学习的定义

15．1．2自监督学习的分类

15．2对比式自监督学习

15．2．1模型坍塌问题

15．2．2有负例的对比学习

15．2．3无负例的对比学习

15．3基于对比预测的自监督语音表示学习

15．3．1对比预测编码

15．3．2wav2vec系列

15．3．3HuBERT系列

15．4自监督学习中的关键科学问题

15．4．1任务相关表示学习

15．4．2模型轻量化

15．5本章小结

参考文献