凸优化的理论和方法

目录
前言
第1章 凸集 1
1.1 仿射集合和凸集 1
1.1.1 仿射维数与相对内部 2
1.1.2 凸集 3
1.1.3 锥 3
1.2 一些重要的例子 3
1.2.1 超平面与半空间 3
1.2.2 Euclid球和椭球 4
1.2.3 范数球和范数锥 5
1.2.4 多面体 6
1.2.5 半正定锥 7
1.3 保凸运算 8
1.3.1 交集 8
1.3.2 仿射函数 10
1.3.3 线性分式及透视函数 11
1.4 分离与支撑超平面 13
1.4.1 超平面分离定理 13
1.4.2 支撑超平面 15
1.5 对偶锥 16
习题1 18
第2章 凸函数 23
2.1 基本性质和例子 23
2.1.1 定义及扩展值延伸 23
2.1.2 凸函数的判定 24
2.1.3 一些例子 26
2.1.4 下水平集和上境图 29
2.1.5 Jensen不等式及其扩展 31
2.2 保凸运算 32
2.2.1 非负加权求和 32
2.2.2 复合仿射映射 33
2.2.3 逐点最大和逐点上确界 33
2.2.4 最小化形式的凸性 35
2.2.5 透视函数 36
2.3 共轭函数 37
习题2 40
第3章 凸优化问题 45
3.1 凸优化问题 45
3.1.1 基本术语 45
3.1.2 问题的标准表示 46
3.1.3 等价问题 47
3.2 凸优化 51
3.2.1 标准形式的凸优化问题 51
3.2.2 局部最优解与全局最优解 52
3.2.3 最优性准则 52
3.3 线性规划问题 55
3.4 二次优化问题 59
3.4.1 几个例子 60
3.4.2 二阶锥规划 62
习题3 65
第4章 对偶 74
4.1 Lagrange对偶函数 74
4.1.1 Lagrange函数 74
4.1.2 Lagrange对偶函数及性质 74
4.1.3 一些例子 75
4.1.4 Lagrange对偶函数和共轭函数 78
4.2 Lagrange对偶问题 80
4.2.1 显式表达对偶约束 80
4.2.2 弱对偶性 82
4.2.3 强对偶性和Slater约束准则 82
4.2.4 几个例子 83
4.3 强对偶性的证明 88
4.4 鞍点解释 89
4.4.1 强弱对偶性的极大极小描述 89
4.4.2 鞍点解释 90
4.5 最优性条件 91
4.5.1 次优解认证和终止准则 91
4.5.2 互补松弛性 92
4.5.3 KKT最优性条件 93
4.5.4 通过解对偶问题求解原问题 96
4.6 扰动及灵敏度分析 97
4.6.1 扰动的问题 98
4.6.2 一个全局不等式 98
4.6.3 局部灵敏度分析 99
4.7 例子 101
习题4 105
第5章 无约束优化 114
5.1 无约束优化问题 114
5.1.1 几个例子 114
5.1.2 强凸性及其性质 116
5.2 下降方法 118
5.3 梯度下降方法 120
5.3.1 收敛性分析 121
5.3.2 几个例子 123
5.3.3 结论 127
5.4 二块凸优化模型的梯度型算法 127
5.4.1 问题模型 127
5.4.2 临近梯度方法 129
5.4.3 算法和收敛性 131
5.4.4 快速临近梯度方法 137
5.5 Newton方法 141
5.5.1 Newton方向 141
5.5.2 阻尼Newton方法 143
5.5.3 收敛性分析 143
5.5.4 几个例子 148
5.5.5 总结 151
5.6 Newton方法的实现问题 152
习题5 154
第6章 等式约束优化 159
6.1 等式约束优化问题 159
6.1.1 等式约束凸二次规划 160
6.1.2 消除等式约束 161
6.1.3 用对偶方法求解等式约束问题 162
6.2 具有可行初始点的Newton方法 163
6.2.1 Newton方向 163
6.2.2 等式约束问题的Newton方法 164
6.2.3 Newton方法和消除法 165
6.2.4 收敛性分析 166
6.3 不可行初始点的Newton方法 167
6.3.1 不可行点的Newton方向 167
6.3.2 不可行初始点Newton方法 169
6.3.3 收敛性分析 171
6.3.4 数值算例 174
习题6 177
第7章 内点法 179
7.1 对数障碍函数和中心路径 180
7.1.1 对数障碍 180
7.1.2 中心路径 181
7.2 障碍函数方法 183
7.2.1 障碍函数方法 184
7.2.2 收敛性分析 185
7.2.3 修改的KKT方程的Newton方向 186
7.3 可行性和阶段 1方法 187
7.3.1 基本的阶段 1方法 187
7.3.2 用不可行初始点Newton方法求解阶段1问题 188
7.4 原对偶内点法 189
7.4.1 原对偶搜索方向 189
7.4.2 代理对偶间隙 192
7.4.3 原对偶内点法 192
7.5 算法的实现 193
7.5.1 标准形式线性规划 194
7.5.2 l1-范数逼近 194
习题7 196
第8章 线性半定规划 200
8.1 预备知识 200
8.1.1 矩阵空间的一些记号和运算 200
8.1.2 凸集与半定锥 201
8.1.3 矩阵积 204
8.2 线性半定规划的一些性质 205
8.2.1 模型与基本概念 206
8.2.2 对偶性 207
8.2.3 可行性 211
8.2.4 最优性条件 218
8.2.5 解的唯一性 220
8.3 一个算法 226
习题8 227
第9章 交替方向乘子法 232
9.1 ADMM算法简介 232
9.2 具可分结构的一些凸优化模型 233
9.3 最优性条件和停止准则 236
9.4 收敛性分析 237
9.5 目标函数是多块情形的ADMM 240
习题9 247
参考文献 250