机器学习理论与实践

第1篇 Python语言基础知识
1 机器学习编程语言基础
1.1 Python开发环境简介
1.2 Python编程基础
1.3 Python基本数据类型
1.3.1 数值类型
1.3.2 字符串类型
1.3.3 列表类型
1.3.4 元组类型
1.3.5 字典类型
1.3.6 集合类型
1.4 赋值
1.5 分支结构
1.5.1 关系运算符和逻辑运算符
1.5.2 分支结构的类型
1.6 循环结构
1.7 函数
1.8 矩阵计算——numpy模块
1.8.1 numpy模块简介
1.8.2 ndarray对象及其创建
1.8.3 数组对象的创建
1.8.4 数组的运算
1.8.5 数组的属性
1.8.6 numpy中的常见函数
1.8.7 数组的索引和切片
1.9 绘图
1.9.1 绘制坐标图
1.9.2 绘制饼状图
1.9.3 绘制条形图
1.9.4 绘制散点图
1.10 文件批量处理
1.10.1 文件和目录处理
1.10.2 文件读写
第2篇 机 器 学 习
2 机器学习的基本概念和应用领域
2.1 机器学习的基本概念
2.2 机器学习的应用领域
3 数据集的划分与模型的评价方法
3.1 数据集的划分方法
3.1.1 留出法
3.1.2 交叉验证法
3.1.3 自助法
3.2 模型的评价方法
3.2.1 分类任务的评价指标
3.2.2 回归任务的评价指标
4 线性模型
4.1 一元线性回归
4.1.1 一元线性回归原理
4.1.2 一元线性回归的实现
4.2 多元线性回归
4.2.1 多元线性回归原理
4.2.2 多元线性回归编程实现
4.2.3 梯度下降法
4.2.4 线性回归的基本形式
4.3 逻辑回归
4.3.1 逻辑回归原理
4.3.2 极大似然估计
4.3.3 逻辑回归的应用
4.4 线性模型总结
5 决策树
5.1 决策树模型一般结构
5.2 属性选择
5.2.1 信息增益与ID3算法
5.2.2 信息增益率
5.2.3 基尼指数
5.3 决策树剪枝
5.3.1 预剪枝
5.3.2 后剪枝
5.3.3 连续属性的处理
5.4 决策树的应用
5.4.1 绘制决策树的方法
5.4.2 sklearn中的决策树函数
5.4.3 决策树应用实例
6 贝叶斯方法
6.1 引言
6.2 贝叶斯方法基本原理
6.3 朴素贝叶斯方法决策过程
6.4 朴素贝叶斯方法实战
6.4.1 高斯朴素贝叶斯方法
6.4.2 伯努利朴素贝叶斯方法
6.4.3 多项式分布朴素贝叶斯方法
6.4.4 朴素贝叶斯方法应用实例
7 支持向量机
7.1 引言
7.2 支持向量与最大间隔
7.3 对偶问题
7.4 线性不可分问题——核技巧
7.5 软间隔与正则化
7.6 支持向量机应用
7.6.1 支持向量机的特点
7.6.2 支持向量机分类
7.6.3 支持向量机回归
8 人工神经网络
8.1 神经元模型
8.2 激活函数
8.3 拓扑结构
8.4 神经网络的工作原理
8.4.1 神经网络的前向计算
8.4.2 前向神经网络的代价函数
8.4.3 误差反向传播算法
8.5 人工神经网络编程实例
8.5.1 sklearn库中的人工神经网络分类器
8.5.2 人工神经网络应用实例
9 k-近邻
9.1 k-近邻基本原理
9.2 距离度量方法
9.3 k值的选择与特征规范化的必要性
9.3.1 选取k值及它的影响
9.3.2 特征规范化
9.4 k维树
9.4.1 k维树的构造
9.4.2 k维树的搜索
9.5 k-近邻算法的应用
10 集成学习
10.1 集成学习基本原理
10.2 boosting系列算法
10.2.1 AdaBoost算法
10.2.2 GBDT算法
10.3 bagging方法
11 特征提取
11.1 LBP纹理特征
11.2 灰度共生矩阵
11.3 HOG特征提取方法
11.4 Haar-like特征
11.4.1 Haar-like特征原理
11.4.2 Haar-like特征计算——积分图
11.4.3 Haar-like特征的扩展
12 数据降维
12.1 主成分分析法
12.2 主成分分析原理
12.2.1 投影
12.2.2 基变换的矩阵表示
12.2.3 方差和协方差
12.2.4 协方差矩阵
12.2.5 矩阵对角化
12.2.6 SVD分解
12.3 PCA降维实例
13 深度学习
13.1 自动编码器
13.1.1 自动编码器原理
13.1.2 自动编码器实例
13.2 卷积神经网络
13.2.1 卷积神经网络的基本结构
13.2.2 序贯式模型搭建法
13.2.3 函数式模型搭建法
13.2.4 共享输入层的卷积神经网络搭建
13.2.5 含有共享卷积层的卷积神经网络搭建
13.2.6 多输入层的卷积神经网络
13.2.7 主流的卷积神经网络