机器学习极简入门

第 一部分　绪论
第 1章　为什么要学原理和公式推导 2
1．1　学模型就要学公式推导吗 2
1．2　学习原理的必要性 3
第 2章　学习机器学习原理，改变看待世界的方式 6
2．1　破除迷信 6
2．2　追本溯源 7
2．3　精进看待世界的方法 8
第3章　如何学习机器学习 10
3．1　以模型为驱动，了解机器学习的本质 10
3．2　反复学习，从记忆到掌握 10
3．3　数学需要多精深 11
3．4　基本的数学概念 12
3．5　学机器学习，编程是必须的吗 13
3．6　日常学习小提示 14
第二部分　基本原理
第4章　机器是如何学习的 16
4．1　机器学习的基本原理 17
4．2　有监督学习与无监督学习 18
4．2．1　有监督学习 19
4．2．2　无监督学习 19
4．3　机器学习的三要素：数据、模型和算法 20
4．3．1　数据 20
4．3．2　模型 22
4．3．3　算法 24
第5章　模型的获取和改进 26
5．1　获取模型的过程 26
5．2　训练集、验证集和测试集 27
5．3　训练的过程 27
第6章　模型的质量和评价指标 30
6．1　分类模型评价指标：精确率、召回率和F1分数 30
6．2　指标对应的是模型和数据集 31
6．3　模型的偏差和过拟合 32
第7章　最常用的优化算法——梯度下降法 34
7．1　学习目标 34
7．2　凸函数 35
7．3　梯度下降法 37
7．4　梯度下降法的超参数 38
7．5　梯度下降的难点 39
第三部分　有监督学习（基础）
第8章　线性回归 42
8．1　第 一个机器学习模型 42
8．1．1　从数据反推公式 42
8．1．2　综合利用训练数据，拟合线性回归函数 44
8．1．3　线性回归的目标函数 44
8．1．4　线性=直线？ 45
8．1．5　用线性回归模型拟合非线性关系 46
8．2　梯度下降法求解目标函数 47
8．2．1　确定目标函数的凸性 48
8．2．2　斜率、导数和偏微分 49
8．2．3　使用梯度下降法求解目标函数 51
8．2．4　通用线性回归模型的目标函数求解 52
8．2．5　线性回归的超参数 54
8．3　编写线性回归训练/预测程序 55
第9章　朴素贝叶斯分类器 57
9．1　分类与回归 57
9．2　贝叶斯定理 58
9．2．1　贝叶斯公式 58
9．2．2　常见的贝叶斯公式 59
9．3　用朴素贝叶斯算法进行分类 61
9．3．1　朴素贝叶斯算法 61
9．3．2　一款极简单的朴素贝叶斯分类器 62
9．4　条件概率的参数 66
9．4．1　两个学派 67
9．4．2　极大似然估计法 69
9．4．3　正态分布的极大似然估计 70
9．4．4　用代码实现朴素贝叶斯模型 72
第 10章　逻辑回归 74
10．1　非线性逻辑回归函数的由来 75
10．1．1　指数增长 75
10．1．2　逻辑函数 76
10．1．3　追本溯源的理论学习 79
10．1．4　线性与非线性 80
10．2　用来做分类的回归模型 81
10．2．1　逻辑回归的模型函数 81
10．2．2　逻辑回归的目标函数 82
10．3　实例及代码实现 85
10．4　处理多分类问题 88
第 11章　决策树 91
11．1　什么是决策树 91
11．1．1　直观理解决策树 91
11．1．2　构建决策树 93
11．2　几种常用算法 93
11．2．1　ID3 93
11．2．2　C4．5 94
11．2．3　CART 96
11．3　决策树告诉你去哪儿聚餐 98
11．3．1　训练数据 98
11．3．2　特征选取 98
11．3．3　用ID3算法构造分类树 100
11．3．4　后剪枝优化决策树 103
11．3．5　用决策树对餐馆进行分类 104
第四部分　有监督学习（进阶）
第 12章　SVM 108
12．1　线性可分和超平面 108
12．1．1　二分类问题 108
12．1．2　特征的向量空间模型 108
12．1．3　线性可分 109
12．1．4　超平面 110
12．2　线性可分SVM 111
12．3　直观理解拉格朗日乘子法 115
12．3．1　可视化函数及其约束条件 116
12．3．2　拉格朗日乘子法 118
12．4　对偶学习算法 124
12．4．1　对偶问题 124
12．4．2　强对偶性及求解对偶问题 126
12．4．3　通过对偶问题求解主问题 126
12．5　求解线性可分SVM 的目标函数 127
12．5．1　目标函数 127
12．5．2　线性可分SVM的对偶问题 128
12．5．3　使用对偶算法求解线性可分SVM的步骤 128
12．5．4　SMO 算法 133
12．6　线性SVM，间隔由硬到软 134
12．6．1　从线性可分SVM到线性SVM 134
12．6．2　对偶法最优化线性SVM 主问题 138
12．6．3　线性SVM 的支持向量 140
12．7　非线性SVM 和核函数 142
12．7．1　非线性分类问题 142
12．7．2　非线性SVM 144
12．7．3　核函数 145
12．7．4　数据归一化 149
第 13章　SVR 151
13．1　严格的线性回归 151
13．2　宽容的SVR 152
13．2．1　模型函数 152
13．2．2　原理 152
13．2．3　SVR 的两个松弛变量 153
13．3　SVR 的主问题和对偶问题 154
13．4　支持向量与求解线性模型参数 156
13．5　SVR 的核技巧 157
第 14章　直观认识 SVM 和 SVR 159
14．1　SVM 实例 159
14．1．1　线性可分SVM 159
14．1．2　线性SVM 162
14．1．3　完全线性不可分的数据 164
14．1．4　核函数的作用 166
14．1．5　RBF 核函数的威力 169
14．1．6　其他核函数 170
14．2　SVR 实例 171
第 15章　HMM 174
15．1　一些基本概念 174
15．2　数学中的HMM 176
15．3　HMM 的3个基本问题 178
15．4　一个例子 179
15．5　HMM 3个基本问题的计算 181
15．5．1　概率计算问题 181
15．5．2　预测算法 184
15．5．3　学习算法 185
15．6　HMM实例 186
第 16章　CRF 189
16．1　概率无向图模型 189
16．1．1　势函数和团 190
16．1．2　Hammersley-Clifford定理 190
16．1．3　性质 190
16．2　CRF 192
16．3　线性链CRF 193
16．3．1　线性链CRF的形式化表示 195
16．3．2　线型链CRF的3个基本问题　 197
第五部分　无监督学习
第 17章　从有监督到无监督：由KNN引出K-means 202
17．1　发展趋势 204
17．2　KNN算法 205
17．2．1　KNN算法原理 205
17．2．2　有监督学习算法KNN与无监督学习算法K-means 205
17．2．3　KNN的K 206
第 18章　K-means——最简单的聚类算法 208
18．1　常用的几种距离计算方法 208
18．2　K-means 210
18．3　实例 214
第 19章　谱聚类——无须指定簇数量的聚类 217
19．1　算法实现 217
19．2　算法原理 219
19．3　实例 224
第 20章　EM算法——估计含有隐变量的概率模型的参数 226
20．1　含有隐变量的概率模型 226
20．2　EM算法基本思想 227
20．2．1　近似极大化 227
20．2．2　真正的目标 229
20．3　EM算法的推导过程 230
20．3．1　优化目标 230
20．3．2　应用EM算法 230
20．4　EM算法步骤 233
第 21章　GMM 235
21．1　将“混”在一起的样本各归其源 235
21．1．1　个体与集体 235
21．1．2　已知每个簇的原始分布 237
21．1．3　已知分布条件下的样本归属 238
21．1．4　学习概率密度函数参数 239
21．1．5　同分布的混合模型 241
21．2　用EM算法求解GMM 242
21．2．1　高斯分布 242
21．2．2　GMM 246
21．2．3　用EM算法学习GMM的参数 248
21．2．4　GMM实例 250
第 22章　PCA 253
22．1　利用数学工具提取主要特征 253
22．1．1　泛滥成灾的特征维度 253
22．1．2　降低数据维度 255
22．1．3　PCA的原则 256
22．1．4　PCA的优化目标 257
22．2　用SVD实现PCA 262
22．2．1　PCA优化算法 262
22．2．2　PCA的作用 263
22．2．3　SVD 264
22．2．4　用SVD实现PCA 266
22．2．5　直接用SVD降维 266
22．2．6　SVD&PCA实例 267
第六部分　机器学习应用
第 23章　认识聊天机器人 272
23．1　聊天机器人的基本类型 272
23．2　世界上第 一款聊天机器人 273
23．3　聊天机器人简史 274
23．4　聊天机器人的实现技术 276
第 24章　开发一款问题解决型机器人 278
24．1　回答问题的基础三步 278
24．2　多轮对话的上下文管理 278
24．3　分层结构 279
24．4　极简版系统架构 280
24．5　开发流程 283
第 25章　聊天机器人的语言理解 285
25．1　收集语料 286
25．2　标注数据 286
25．3　划分数据集 287
25．4　构建向量空间模型 288
25．5　训练模型 290
25．6　测试模型 292
第 26章　应用聚类模型获得聊天机器人语料 293
26．1　从用户日志中挖掘训练语料 293
26．2　语料对标注的影响 294
26．3　分析用户日志 294
26．4　对用户日志语料进行聚类 295
第七部分　从机器学习到深度学习
第 27章　人工智能和神经网络 298
27．1　人工智能、机器学习和深度学习 298
27．2　什么是神经网络 300
27．3　神经网络的训练 302
第 28章　深度学习的兴起和发展 305
28．1　神经网络的历史沿革 305
28．2　认识深度学习 307
28．3　不同种类的深度学习网络 307
28．3．1　CNN 307
28．3．2　RNN 309
28．3．3　LSTM 310
第 29章　深度学习的愿景、问题和应用 313
29．1　深度学习的愿景 313
29．2　深度学习的现实 314
29．3　机器学习与深度学习 314
29．4　深度学习的落地点 315
29．4．1　语音处理 315
29．4．2　图像处理 316
29．4．3　自然语言处理 317
29．5　深度学习的局限 317