强化学习与最优控制

第 1 章  精确动态规划   1 
1.1  确定性动态规划  1 
1.1.1  确定性问题.  1 
1.1.2  动态规划算法 5 
1.1.3  值空间的近似 9 
1.2  随机动态规划  10 
1.3  例子、变形和简化.  13 
1.3.1  确定性最短路径问题 14 
1.3.2  确定性离散优化问题 15 
1.3.3  含终止状态的问题  18 
1.3.4  预报 20 
1.3.5  含不可控状态组分的问题 21 
1.3.6  不完整的状态信息和置信状态 25 
1.3.7  线性二次型最优控制 28 
1.3.8  含未知参数的系统——自适应控制 30 
1.4  强化学习与最优控制——一些术语  32 
1.5  注释和资源 34 
第 2 章  值空间的近似  36 
2.1  强化学习中的近似方法.  36 
2.1.1  值空间近似的一般问题  39 
2.1.2  离线与在线方法 40 
2.1.3  针对前瞻最小化的基于模型的简化 40 
2.1.4  无模型的离线 Q 因子近似 41 
2.1.5  基于值空间近似的策略空间近似  43 
2.1.6  值空间的近似何时有效  44 
2.2  多步前瞻. 45 
2.2.1  多步前瞻与滚动时域 46 
2.2.2  多步前瞻与确定性问题  47 
2.3  问题近似. 48
2.3.1  强制解耦  49 
2.3.2  随机问题中的近似——确定性等价控制 . 54 
2.4  策略前展与策略改进原则.  58 
2.4.1  针对确定性离散优化问题的在线策略前展  59 
2.4.2  随机策略前展与蒙特卡洛树搜索  68 
2.4.3  基于专家的策略前展 75 
2.5  针对确定性无穷空间问题的在线策略前展——优化类启发式方法 76 
2.5.1  模型预测控制  77 
2.5.2  目标管道与约束可控性条件  82 
2.5.3  模型预测控制的变形 85 
2.6  注释与资源 86 
第 3 章  参数化近似 90 
3.1  近似架构. 90 
3.1.1  基于特征的线性与非线性参数架构 90 
3.1.2  训练线性与非线性架构  95 
3.1.3  增量梯度与牛顿法  96 
3.2  神经网络.  107 
3.2.1  训练神经网络.  109 
3.2.2  多层与深度神经网络 112 
3.3  连续动态规划近似 115 
3.4  Q 因子参数化近似 116 
3.5  基于分类的策略空间参数化近似 119 
3.6  注释与资源 122 
第 4 章  无穷阶段动态规划 124 
4.1  无穷阶段问题概论 124 
4.2  随机最短路径问题 126 
4.3  折扣问题.  133 
4.4  半马尔可夫折扣问题  137 
4.5  异步分布式值迭代 141 
4.6  策略迭代.  144 
4.6.1  精确策略迭代.  144 
4.6.2  乐观与多步前瞻策略迭代 148 
4.6.3  针对 Q 因子的策略迭代 149 
4.7  注释和资源 151 
4.8  附录：数学分析. 152 
4.8.1  随机最短路径问题的相关证明 152 
4.8.2  折扣问题的相关证明 157 
4.8.3  精确与乐观策略迭代的收敛性 157
第 5 章  无穷阶段强化学习 160 
5.1  值空间近似——性能界 160 
5.1.1  有限前瞻. 162 
5.1.2  策略前展. 164 
5.1.3  近似策略迭代.  167 
5.2  拟合值迭代 169 
5.3  采用参数化近似的基于仿真的策略迭代 173 
5.3.1  自主学习与执行–批评方法  173 
5.3.2  一种基于模型的变体 174 
5.3.3  一种无模型的变体.  176 
5.3.4  实施参数化策略迭代的挑战.  177 
5.3.5  近似策略迭代的收敛问题——振荡 180 
5.4  Q 学习 183 
5.5  附加方法——时序差分 185 
5.6  精确与近似线性规划  194 
5.7  策略空间近似.  196 
5.7.1  通过费用优化执行训练——策略梯度、交叉熵以及随机搜索方法  199 
5.7.2  基于专家的监督学习 207 
5.7.3  近似策略迭代、策略前展与策略空间近似.  208 
5.8  注释和资源 212 
5.9  附录：数学分析. 216 
5.9.1  多步前瞻的性能界.  216 
5.9.2  策略前展的性能界.  218 
5.9.3  近似策略迭代的性能界.  220 
第 6 章  聚集  223 
6.1  包含代表状态的聚集  223 
6.1.1  连续控制空间离散化 227 
6.1.2  连续状态空间——部分可观察马尔可夫决策问题的离散化 228 
6.2  包含代表特征的聚集  230 
6.2.1  硬聚集与误差界 232 
6.2.2  采用特征的聚集 234 
6.3  求解聚集问题的方法  237 
6.3.1  基于仿真的策略迭代 238 
6.3.2  基于仿真的值迭代.  240 
6.4  包含神经网络的基于特征的聚集 241 
6.5  偏心聚集.  242 
6.6  注释和资源 244 
6.7  附录：数学分析. 247 
参考文献 250