现代回归分析方法引论

目录 
前言 
第1章 引言 1 
1.1 相关关系 1 
1.2 回归模型的一般形式 2 
1.3 回归模型的建模过程 2 
第2章 预备知识 4 
2.1 一元线性回归 4 
2.1.1 散点图，回归模型，矩阵表达 4 
2.1.2 模型的建立——参数估计 4 
2.1.3 最小二乘估计的性质 5 
2.1.4 一元线性回归模型的显著性检验 7 
2.2 线性模型的最小二乘估计 9 
2.2.1 最小二乘估计 9 
2.2.2 最小二乘估计的统计性质 12 
2.2.3 最小二乘估计的最优性 17 
2.2.4 带约束的最小二乘估计 20 
2.3 假设检验 21 
2.3.1 一般线性检验 21 
2.3.2 回归方程的显著性检验 24 
2.3.3 回归系数的显著性检验 24 
2.4 有偏估计||岭回归和主成分回归 25 
2.4.1 复共线性 25 
2.4.2 岭回归 29 
2.4.3 主成分回归 33 
第3章 变量选择和贝叶斯线性模型 37 
3.1 全模型和选模型 37 
3.1.1 减少自变量对模型参数估计的影响 38 
3.1.2 减少自变量对预测的影响 39 
3.2 变量选择 41 
3.2.1 最优子集回归 41
3.2.2 逐步回归 43 
3.2.3 前向分段回归 44 
3.3 压缩方法 45 
3.3.1 岭回归 45 
3.3.2 lasso 46 
3.3.3 正交设计下 lasso 的解 47 
3.3.4 岭回归、lasso 和最优子集 49 
3.4 贝叶斯线性模型 51 
3.4.1 最小二乘估计与极大似然估计 51 
3.4.2 贝叶斯线性模型与岭回归 52 
3.4.3 贝叶斯线性模型学习过程 54 
3.4.4 预测分布 58 
第4章 e1 正则化逻辑回归的随机坐标下降算法 60 
4.1 引言 60 
4.2 RCSUM 算法及其在 e1 正则化逻辑回归上的应用 62 
4.2.1 问题描述及假设 62 
4.2.2 RCSUM 算法 63 
4.2.3 收敛性分析 64 
4.2.4 RCSUM 求解 e1 范数正则化逻辑回归 68 
4.3 加速随机算法 APCG 求解 e1 范数逻辑回归 71 
4.4 数值实验 72 
4.4.1 模拟数据 73 
4.4.2 实验结果及分析 74 
4.4.3 乳腺癌数据 80 
4.5 总结 81 
第5章 并行坐标下降 82 
5.1 引言 82 
5.1.1 相关工作 82 
5.1.2 动机 83 
5.1.3 贡献 83 
5.2 PSUM 以及 RPSUM 算法 84 
5.2.1 预备知识 84 
5.2.2 主要假设 85 
5.2.3 PSUM 算法 85 
5.2.4 RPSUM 算法 86
5.3 PSUM 以及 RPSUM 的收敛性分析 87 
5.3.1 PSUM 的收敛性分析 87 
5.3.2 RPSUM 的收敛性分析 91 
5.4 应用 94 
5.4.1 RPSUM 解e1 范数正则化逻辑回归 95 
5.4.2 实验 96 
5.4.3 讨论 99 
5.4.4 结论 101 
第6章 随机优化 102 
6.1 随机优化问题 102 
6.2 在线算法 103 
6.2.1 随机梯度法 103 
6.2.2 对偶平均方法 104 
6.3 带正则化项的随机优化问题 105 
6.3.1 向前向后分裂算法简介 105 
6.3.2 向前向后分裂算法的收敛性 107 
6.4 向前向后分裂算法求解 e1 正则化逻辑回归 112 
6.5 实验 114 
6.6 结论 117 
参考文献 118 
附录 A 凸优化 121 
A.1 介绍 121 
A.2 凸集 121 
A.3 凸函数 123 
A.4 凸优化问题 125 
A.5 拉格朗日对偶 128 
附录 B 常用分布表 133 
B.1 t 分布表 133 
B.2 F 分布表 134 
B.3 2 分布表 144