基于强化学习的数据驱动优化控制方法

目录
“博士后文库”序言
前言
符号说明
第1章 绪论 1
1.1 优控制理论 1
1.1.1 离散时间动态系统的*优控制 1
1.1.2 连续时间动态系统的*优控制 2
1.2 强化学习与自适应动态规划 3
1.2.1 自适应动态规划理论基本原理 3
1.2.2 自适应动态规划理论发展现状 5
1.3 微分博弈理论 7
1.4 多智能体系统的协同控制 9
1.5 事件触发机制 10
第2章 离散时间不确定线性系统的数据驱动鲁棒控制设计方法 13
2.1 引言 13
2.2 问题描述 14
2.3 基于代数里卡蒂方程的鲁棒控制器设计方法 16
2.4 同轨策略强化学习算法 21
2.4.1 基于模型的同轨策略强化学习 21
2.4.2 带有探测噪声的同轨策略强化学习 22
2.5 异轨策略强化学习 24
2.5.1 基于模型的异轨策略强化学习 24
2.5.2 带有探测噪声的异轨策略强化学习 26
2.5.3 无模型的异轨策略强化学习 27
2.6 仿真研究 29
2.7 小结 35
第3章 基于数据驱动的离散系统非零和博弈问题求解方法 37
3.1 引言 37
3.2 问题描述 38
3.2.1 非零和博弈问题 38
3.2.2 耦合代数里卡蒂方程 39
3.3 基于模型的自适应动态规划 44
3.3.1 同轨策略强化学习算法 44
3.3.2 异轨策略强化学习算法 46
3.4 无模型自适应动态规划 51
3.5 仿真研究 54
3.5.1 案例一：离线迭代强化学习算法 55
3.5.2 案例二：同轨策略强化学习算法 56
3.5.3 实例三：异轨策略强化学习算法 57
3.6 小结 61
第4章 连续时间动态系统非零和博弈问题的数据驱动积分型强化学习方法 62
4.1 引言 62
4.2 问题描述 63
4.2.1 带衰减系数的非零和博弈的耦合代数里卡蒂方程 64
4.2.2 离线策略迭代算法 65
4.3 积分值迭代算法 66
4.3.1 积分值迭代算法 66
4.3.2 具有衰减系数的等价积分值迭代 69
4.4 理论分析 70
4.4.1 积分值迭代算法的正定性分析 70
4.4.2 积分值迭代算法的稳定性分析 71
4.4.3 积分值迭代算法的收敛性分析 73
4.5 仿真研究 76
4.6 小结 80
第5章 基于Q 学习的数据驱动间歇反馈控制器设计方法 81
5.1 引言 81
5.2 问题描述 82
5.2.1 时间触发*优控制 82
5.2.2 间歇反馈控制 83
5.3 静态间歇反馈设计 84
5.3.1 基于模型的静态事件触发控制 84
5.3.2 基于数据的静态事件触发控制 85
5.4 基于Q 学习的数据驱动间歇反馈控制 89
5.5 仿真研究 94
5.6 小结 95
第6章 一类异构多智能体系统的数据驱动模型参考分布式包含控制设计方法 96
6.1 引言 96
6.2 问题描述 98
6.3 分布式自适应观测器设计 99
6.4 分布式*优模型参考包含控制 105
6.4.1 问题描述 105
6.4.2 非齐次贝尔曼方程 105
6.4.3 非齐次代数里卡蒂方程和*优性讨论 107
6.4.4 非齐次代数里卡蒂方程的求解与稳定性分析 108
6.5 完全分布式*优模型参考自适应包含控制 109
6.6 基于强化学习的完全分布式自适应*优包含控制设计 110
6.6.1 基于模型的强化学习设计方案 110
6.6.2 基于数据的强化学习设计方案 111
6.7 仿真研究 114
6.8 小结 118
第7章 数据驱动多智能体系统的事件触发包含控制设计方法 119
7.1 引言 119
7.2 问题描述 120
7.3 时间触发包含控制设计 121
7.4 事件触发分布式包含控制设计 122
7.4.1 事件触发方案设计 122
7.4.2 事件触发机制的可行性分析 125
7.5 异轨策略强化学习 129
7.6 仿真研究 131
7.7 小结 133
参考文献 134
编后记 153
彩图