机器学习

序
1 绪论
1.1 引言
1.2 基础概念
1.3 发展历程
1.4 机器学习全流程介绍
1.5 机器学习研究方向介绍
1.5.1 监督学习
1.5.2 无监督学习
1.5.3 深度学习
1.5.4 强化学习
1.5.5 结构学习——以概率图模型为例
2 数学基础
2.1 线性代数
2.1.1 基本概念
2.1.2 基本运算
2.1.3 线性相关性及矩阵的秩
2.1.4 特征值及特征向量
2.1.5 矩阵求导
2.1.6 奇异值分解
2.2 概率论与数理统计
2.2.1 概率论与机器学习
2.2.2 事件与事件空间
2.2.3 样本空间与事件空间
2.2.4 常用结论
2.2.5 随机变量
2.2.6 联合概率分布、条件概率分布和边缘分布
2.2.7 独立性
2.2.8 极限定理
2.2.9 极大似然估计
2.3 凸优化
2.3.1 优化问题
2.3.2 基本概念
2.3.3 凸优化问题
2.3.4 对偶性
2.3.5 无约束优化问题
3 回归模型
3.1 简介
3.2 线性回归
3.2.1 线性回归模型
3.2.2 正规方程法
3.2.3 梯度下降法
3.2.4 随机梯度下降法
3.2.5 小批量梯度下降法
3.2.6 牛顿法
3.2.7 基于梯度的其他算法
3.2.8 线性回归的概率论解释
3.3 非线性回归
3.3.1 多项式回归
3.3.2 径向基回归
3.4 正则化线性回归
3.4.1 岭回归
3.4.2 套索回归
3.4.3 弹性网络
3.4.4 收缩估计器
3.4.5 参数选择
3.4.6 回归模型总结
4 分类模型
4.1 判别模型与生成模型
4.1.1 非概率判别模型
4.1.2 概率判别模型
4.1.3 生成模型
4.1.4 判别模型vs生成模型
4.2 K最近邻算法
4.2.1 距离度量
4.2.2 超参数K的选择
4.2.3 分类决策机制
4.2.4 算法步骤及复杂度分析
4.2.5 K最近邻算法在回归问题中的应用
4.3 贝叶斯分类器
4.3.1 生成贝叶斯分类器
4.3.2 朴素贝叶斯分类器
4.3.3 朴素贝叶斯分类器在文本分类中的应用
4.4 高斯贝叶斯分类器
4.4.1 高斯朴素贝叶斯分类器
4.4.2 线性判别分析
4.4.3 二次判别分析
4.5 逻辑回归
4.5.1 概率与逻辑函数
4.5.2 二分类问题中的逻辑回归
4.5.3 多类逻辑回归
4.5.4 逻辑回归的求解
4.6 感知机
4.7 支持向量机
4.7.1 间隔与支持向量
4.7.2 硬间隔支持向量机
4.7.3 软间隔支持向量机
4.7.4 支持向量在对偶形式中的作用
4.7.5 支持向量机的核方法
4.8 深度学习
4.8.1 神经元
4.8.2 神经网络的结构
4.8.3 损失函数
4.8.4 神经网络的优化
4.8.5 神经网络的实现
4.8.6 卷积神经网络
4.8.7 循环神经网络
4.8.8 元学习
4.8.9 生成对抗网络
4.8.10 深度学习模型的健壮性
4.9 决策树与随机森林
4.9.1 决策树与可解释性
4.9.2 基于信息论的目标函数
4.9.3 决策树的构建
4.9.4 随机森林
4.10 集成学习
4.10.1 聚合算法
4.10.2 提升算法
4.10.3 堆叠算法
5 无监督学习
5.1 聚类算法
5.1.1 层次聚类
5.1.2 K均值算法
5.1.3 高斯混合模型
5.2 主成分分析
5.2.1 主成分分析优化问题
5.2.2 主成分分析求解
5.2.3 主成分分析总结
6 学习理论
6.1 简介
6.2 特征选择
6.2.1 过滤法
6.2.2 包裹法
6.2.3 嵌入法
6.2.4 降维
6.3 模型选择
6.3.1 欠拟合与过拟合
6.3.2 训练-测试法
6.3.3 交叉验证法
6.3.4 模型选择与特征选择
6.4 偏差-方差权衡
6.4.1 预测误差期望
6.4.2 偏差-方差分解
6.4.3 偏差-方差权衡与模型选择
7 概率图模型
7.1 结构化概率表示
7.1.1 联合概率表示
7.1.2 变量独立性的结构化表示
7.2 概率图模型的表示
7.2.1 贝叶斯网络
7.2.2 马尔可夫网络
7.3 概率图模型的概率推断
7.3.1 精确推断
7.3.2 近似推断
7.4 概率图模型的结构学习
7.4.1 有向图模型的结构学习
7.4.2 无向图模型的结构学习
后记