强化学习：原理与Python实现

前言
第1章　初识强化学习 1
1.1　强化学习及其关键元素 1
1.2　强化学习的应用 3
1.3　智能体/环境接口 4
1.4　强化学习的分类 6
1.4.1　按任务分类 6
1.4.2　按算法分类 7
1.5　如何学习强化学习 8
1.5.1　学习路线 9
1.5.2　学习资源 9
1.6　案例：基于Gym库的智能体/环境交互 9
1.6.1　安装Gym库 10
1.6.2　使用Gym库 10
1.6.3　小车上山 12
1.7　本章小结 14
第2章　Markov决策过程 16
2.1　Markov决策过程模型 16
2.1.1　离散时间Markov决策过程 16
2.1.2　环境与动力 18
2.1.3　智能体与策略 19
2.1.4　奖励、回报与价值函数 19
2.2　Bellman期望方程 21
2.3　最优策略及其性质 25
2.3.1　最优策略与最优价值函数 25
2.3.2　Bellman最优方程 25
2.3.3　用Bellman最优方程求解最优策略 29
2.4　案例：悬崖寻路 31
2.4.1　实验环境使用 31
2.4.2　求解Bellman期望方程 32
2.4.3　求解Bellman最优方程 33
2.5　本章小结 35
第3章　有模型数值迭代 37
3.1　度量空间与压缩映射 37
3.1.1　度量空间及其完备性 37
3.1.2　压缩映射与Bellman算子 38
3.1.3　Banach不动点定理 39
3.2　有模型策略迭代 40
3.2.1　策略评估 40
3.2.2　策略改进 42
3.2.3　策略迭代 44
3.3　有模型价值迭代 45
3.4　动态规划 46
3.4.1　从动态规划看迭代算法 46
3.4.2　异步动态规划 47
3.5　案例：冰面滑行 47
3.5.1　实验环境使用 48
3.5.2　有模型策略迭代求解 49
3.5.3　有模型价值迭代求解 51
3.6　本章小结 52
第4章　回合更新价值迭代 54
4.1　同策回合更新 54
4.1.1　同策回合更新策略评估 54
4.1.2　带起始探索的同策回合更新 58
4.1.3　基于柔性策略的同策回合更新 60
4.2　异策回合更新 62
4.2.1　重要性采样 62
4.2.2　异策回合更新策略评估 64
4.2.3　异策回合更新最优策略求解 65
4.3　案例：21点游戏 66
4.3.1　实验环境使用 66
4.3.2　同策策略评估 67
4.3.3　同策最优策略求解 70
4.3.4　异策策略评估 72
4.3.5　异策最优策略求解 73
4.4　本章小结 74
第5章　时序差分价值迭代 76
5.1　同策时序差分更新 76
5.1.1　时序差分更新策略评估 78
5.1.2　SARSA算法 81
5.1.3　期望SARSA算法 83
5.2　异策时序差分更新 85
5.2.1　基于重要性采样的异策算法 85
5.2.2　Q学习 86
5.2.3　双重Q学习 87
5.3　资格迹 89
5.3.1　λ回报 89
5.3.2　TD(λ) 90
5.4　案例：出租车调度 92
5.4.1　实验环境使用 93
5.4.2　同策时序差分学习调度 94
5.4.3　异策时序差分学习调度 97
5.4.4　资格迹学习调度 99
5.5　本章小结 100
第6章　函数近似方法 101
6.1　函数近似原理 101
6.1.1　随机梯度下降 101
6.1.2　半梯度下降 103
6.1.3　带资格迹的半梯度下降 105
6.2　线性近似 107
6.2.1　精确查找表与线性近似的关系 107
6.2.2　线性最小二乘策略评估 107
6.2.3　线性最小二乘最优策略求解 109
6.3　函数近似的收敛性 109
6.4　深度Q学习 110
6.4.1　经验回放 111
6.4.2　带目标网络的深度Q学习 112
6.4.3　双重深度Q网络 114
6.4.4　对偶深度Q网络 114
6.5　案例：小车上山 115
6.5.1　实验环境使用 116
6.5.2　用线性近似求解最优策略 117
6.5.3　用深度Q学习求解最优策略 120
6.6　本章小结 123
第7章　回合更新策略梯度方法 125
7.1　策略梯度算法的原理 125
7.1.1　函数近似与动作偏好 125
7.1.2　策略梯度定理 126
7.2　同策回合更新策略梯度算法 128
7.2.1　简单的策略梯度算法 128
7.2.2　带基线的简单策略梯度算法 129
7.3　异策回合更新策略梯度算法 131
7.4　策略梯度更新和极大似然估计的关系 132
7.5　案例：车杆平衡 132
7.5.1　同策策略梯度算法求解最优策略 133
7.5.2　异策策略梯度算法求解最优策略 135
7.6　本章小结 137
第8章　执行者/评论者方法 139
8.1　同策执行者/评论者算法 139
8.1.1　动作价值执行者/评论者算法 140
8.1.2　优势执行者/评论者算法 141
8.1.3　带资格迹的执行者/评论者算法 143
8.2　基于代理优势的同策算法 143
8.2.1　代理优势 144
8.2.2　邻近策略优化 145
8.3　信任域算法 146
8.3.1　KL散度 146
8.3.2　信任域 147
8.3.3　自然策略梯度算法 148
8.3.4　信任域策略优化 151
8.3.5　Kronecker因子信任域执行者/评论者算法 152
8.4　重要性采样异策执行者/评论者算法 153
8.4.1　基本的异策算法 154
8.4.2　带经验回放的异策算法 154
8.5　柔性执行者/评论者算法 157
8.5.1　熵 157
8.5.2　奖励工程和带熵的奖励 158
8.5.3　柔性执行者/评论者的网络设计 159
8.6　案例：双节倒立摆 161
8.6.1　同策执行者/评论者算法求解最优策略 162
8.6.2　异策执行者/评论者算法求解最优策略 168
8.7　本章小结 170
第9章　连续动作空间的确定性策略 172
9.1　同策确定性算法 172
9.