马尔可夫决策过程引论

第1章引论(1)
1.1离散时间马尔可夫决策过程模型(1)
1.2报酬过程与准则函数(2)
1.3历史(6)
参考文献(7)
第2章有限阶段(10)
2.1有限阶段最优方程(10)
2.2应用(13)
2.2.1序贯投资问题(13)
2.2.2秘书选择问题(15)
2.3模函数与单调策略(16)
文献注释(22)
参考文献(22)
第3章折扣准则(23)
3.1折扣最优方程(23)
3.1.1无界报酬条件及目标函数的存在性(23)
3.1.2最优方程(26)
3.2(ε)最优策略的性质和结构(30)
3.2.1最优策略的性质和结构(30)
3.2.2ε最优策略的性质和结构(33)
3.3逐次逼近法与策略迭代法(35)
3.3.1逐次逼近法(35)
3.3.2策略迭代法(40)
3.3.3策略迭代-逐次逼近法(41)
3.4线性规划法(45)
3.5状态逼近法(47)
3.6Blackwell最优准则(52)
3.6.1罗朗级数展开(52)
3.6.2求Blackwell最优策略的策略迭代法(54)
3.7非可数决策集(56)
文献注释(58)
参考文献(59)
第4章总报酬准则(62)
4.1模型缩减(62)
4.2报酬函数和准则函数的有限性(63)
4.2.1报酬函数的有限性(64)
4.2.2最优值函数的有限性及最优方程(66)
4.3充分条件(69)
4.4最优方程与(ε)最优策略(72)
4.5逐次逼近法(76)
文献注释(77)
参考文献(77)
第5章平均准则(78)
5.1引言和反例(78)
5.2平均准则最优方程(82)
5.2.1平均准则最优方程与(ε)最优策略(82)
5.2.2常返性条件(86)
5.2.3转换为折扣准则(88)
5.3多链马尔可夫决策过程(89)
5.3.1最优方程系(89)
5.3.2典型三重组(90)
5.4策略迭代法(97)
5.5逐次逼近法(101)
5.5.1基于最优方程的逐次逼近法(101)
5.5.2基于最优方程系的逐次逼近法(104)
5.6线性规划法(108)
5.7最优不等式(112)
文献注释(120)
参考文献(122)
第6章半马尔可夫决策过程(125)
6.1半马尔可夫决策过程模型(125)
6.1.1模型(125)
6.1.2正则性条件(126)
6.1.3准则函数(129)
6.2转换为离散时间马尔可夫决策过程(132)
6.2.1期望折扣总报酬准则(132)
6.2.2平均准则(132)
6.2.3马尔可夫型半马尔可夫决策过程(138)
文献注释(139)
参考文献(140)
第七章连续时间马尔可夫决策过程(141)
7.1连续时间马尔可夫决策过程模型(141)
7.2期望折扣总报酬准则(144)
7.3平均准则(149)
7.4非平稳期望总报酬准则(151)
文献注释(158)
参考文献(158)
第8章一般化马尔可夫决策过程(160)
8.1状态部分可观察的马尔可夫决策过程(160)
8.1.1模型(160)
8.1.2折扣准则(161)
8.1.3有限阶段(166)
8.2约束马尔可夫决策过程(169)
8.2.1单约束(169)
8.2.2多约束(173)
8.2.3哈密尔顿圈(177)
8.3多目标马尔可夫决策过程(180)
8.3.1折扣准则(181)
8.3.2折扣与平均的加权准则(186)
8.4摄动马尔可夫决策过程(190)
8.4.1摄动的非平稳平均准则马尔可夫决策过程(191)
8.4.2摄动的连续时间折扣准则马尔可夫决策过程(197)
文献注释(199)
参考文献(201)
第9章随机环境马尔可夫决策过程(206)
9.1半氏环境连续时间马尔可夫决策过程(206)
9.1.1模型(206)
9.1.2最优方程(210)
9.1.3弱收敛逼近(216)
9.1.4马尔可夫环境和位相型环境(218)
9.2半马尔可夫环境半马尔可夫决策过程(223)
9.2.1模型(223)
9.2.2最优方程(226)
9.2.3马尔可夫环境(229)
9.3半马尔可夫环境混合马尔可夫决策过程(230)
9.3.1模型(230)
9.3.2最优方程(232)
9.3.3马尔可夫环境(237)
文献注释(238)
参考文献(239)
第10章在排队/通信系统中的应用(240)
10.1排队系统的到达控制(240)
10.1.1静态到达控制(241)
10.1.2M/M/c系统的动态到达控制(242)
10.1.3一般动态到达控制(243)
10.2排队系统服务控制(246)
10.3排队网络控制(250)
10.3.1到达控制(250)
10.3.2服务控制(250)
10.3.3路径控制(252)
10.4通信网络控制(253)
文献注释(255)
参考文献(255)
第11章在其他方面的应用(257)
11.1生产/存贮系统最优控制(257)
11.2系统最优更换/维修(259)
11.2.1模型(259)
11.2.2折扣准则(262)
11.2.3平均目标(264)
11.2.4无冲击(265)
11.3质量控制(266)
11.4目标的最优搜索(268)
11.4.1固定目标的最优搜索(268)
11.4.2活动目标的最优搜索(269)
11.5柔性制造系统最优路径控制(270)
11.5.1一类流水线的最优动态负荷分配(270)
11.5.2动态路径调度(271)
文献注释(272)
参考文献(272)