最优化导论：人工智能与智能系统（第4版）

第一部分 数学知识回顾
第1章 证明方法与相关记法
1.1 证明方法
1.2 记法
习题
第2章 向量空间与矩阵
2.1 向量与矩阵
2.2 矩阵的秩
2.3 线性方程组
2.4 内积和范数
习题
第3章 变换
3.1 线性变换
3.2 特征值与特征向量
3.3 正交投影
3.4 二次型函数
3.5 矩阵范数
习题
第4章 有关几何概念
4.1 线段
4.2 超平面与线性簇
4.3 凸集
4.4 邻域
4.5 多面体和多胞形
习题
第5章 微积分基础
5.1 序列与极限
5.2 可微性
5.3 导数矩阵
5.4 微分法则
5.5 水平集与梯度
5.6 泰勒级数
习题
第二部分 无约束优化问题
第6章 集合约束和无约束优化问题的基础知识
6.1 引言
6.2 局部极小点的条件
习题
第7章 一维搜索方法
7.1 引言
7.2 黄金分割法
7.3 斐波那契数列法
7.4 二分法
7.5 牛顿法
7.6 割线法
7.7 划界法
7.8 多维优化问题中的一维搜索
习题
第8章 梯度方法
8.1 引言
8.2 最速下降法
8.3 梯度方法性质分析
习题
第9章 牛顿法
9.1 引言
9.2 牛顿法性质分析
9.3 Levenberg-Marquardt修正
9.4 牛顿法在非线性最小二乘问题中的应用
习题
第1O章 共轭方向法
10.1 引言
1O.2 基本的共轭方向算法
10.3 共轭梯度法
10.4 非二次型问题中的共轭梯度法
习题
第11章 拟牛顿法
11.1 引言
11.2 黑塞矩阵逆矩阵的近似
11.3 秩1修正公式
11.4 DFP算法
11.5 BFGS算法
习题
第12章 求解线性方程组
12.1 最小二乘分析
12.2 递推最小二乘算法
12.3 线性方程组的最小范数解
12.4 Kaczmarz算法
12.5 一般意义下的线性方程组的求解
习题
第13章 无约束优化问题和神经网络
13.1 引言
13.2 单个神经元训练
13.3 反向传播算法
习题
第14章 全局搜索算法
14.1 引言
14.2 Nelder-Mead单纯形法
14.3 模拟退火法
14.4 粒子群优化算法
14.5 遗传算法
习题
第三部分 线性规划
第15章 线性规划概述
15.1 线性规划简史
15.2 线性规划的简单例子
15.3 二维线性规划
15.4 凸多面体和线性规划
15.5 线性规划问题的标准型
15.6 基本解
15.7 基本解的性质
15.8 几何视角下的线性规划
习题
第16章 单纯形法
16.1 利用行变换求解线性方程组
16.2 增广矩阵的规范型
16.3 更新增广矩阵
16.4 单纯形法
16.5 单纯形法的矩阵形式
16.6 两阶段单纯形法
16.7 修正单纯形法
习题
第17章 对偶
17.1 对偶线性规划
17.2 对偶问题的性质
习题
第18章 非单纯形法
18.1 引言
18.2 Khachiyan算法
18.3 仿射尺度法
18.4 Karmarkar算法
习题
第19章 整数规划
19.1 概述
19.2 幺模矩阵
19.3 Gomory割平面法
习题
第四部分 有约束非线性优化问题
第20章 仅含等式约束的优化问题
20.1 引言
20.2 问题描述
20.3 切线空间和法线空间
20.4 拉格朗日条件
20.5 二阶条件
20.6 线性约束下二次型函数的极小化
习题
第21章 含不等式约束的优化问题
21.1 卡罗需-库恩-塔克（Karush-Kuhn-Tucker）条件
21.2 二阶条件
习题
第22章 凸优化问题
22.1 引言
22.2 凸函数
22.3 凸优化问题
22.4 半定规划
习题
第23章 有约束优化问题的求解算法
23.1 引言
23.2 投影法
23.3 求解含线性约束优化问题的投影梯度法
23.4 拉格朗日法
23.5 罚函数法
习题
第24章 多目标优化
24.1 引言
24.2 帕累托解
24.3 怕累托前沿的求解
24.4 多目标优化到单目标优化的转换
24.5 存在不确定性的线性规划
习题
参考文献