Python数据挖掘技术及应用（微课版）

目录



第1章绪论1
1.1数据挖掘的相关概念1
1.2数据挖掘的步骤2
1.3数据挖掘的典型应用3
1.3.1数据挖掘在市场营销中的应用3
1.3.2数据挖掘在企业危机管理中的应用3
1.4数据挖掘的主要挑战3
1.4.1数据挖掘查询语言3
1.4.2用户交互4
1.4.3并行、分布和增量挖掘算法4
1.4.4数据类型的多样化4
1.5本章小结5
第2章pandas数据处理6
2.1Series对象6
2.1.1Series对象的创建6
2.1.2Series对象的属性8
2.1.3Series对象的查看和修改8
2.2Series对象的基本运算9
2.2.1算术运算与函数运算9
2.2.2Series对象之间的运算10
2.3DataFrame对象10
2.3.1DataFrame对象的创建10
2.3.2DataFrame对象的属性12
2.3.3查看和修改DataFrame对象的元素14
2.3.4判断元素是否属于DataFrame对象16
2.4DataFrame对象的基本运算17
2.4.1数据筛选17
2.4.2数据预处理19
2.4.3数据运算与排序33
2.4.4数学统计38
2.4.5数据分组与聚合44
2.5pandas数据可视化51
2.5.1绘制折线图52
2.5.2绘制条形图53
2.6pandas读写数据55
2.6.1读写csv文件56
2.6.2读取txt文件59
2.6.3读写Excel文件60
2.7本章小结64
第3章认识数据65
3.1数据类型65
3.1.1属性类型65
3.1.2数据集的类型66
3.2数据质量分析67
3.2.1缺失值分析68
3.2.2异常值分析69
3.2.3一致性分析72
3.3数据特征分析72
3.3.1分布特征72
3.3.2统计量特征73
3.3.3周期性特征78
3.3.4相关性特征80
3.4本章小结81
第4章数据预处理82
4.1数据清洗82
4.1.1处理缺失值82
4.1.2噪声数据处理89
4.2数据集成90
4.2.1实体识别问题90
4.2.2属性冗余问题91
4.2.3元组重复问题91
4.2.4属性值冲突问题92
4.3数据规范化92
4.3.1最小最大规范化92
4.3.2z分数规范化94
4.3.3小数定标规范化94
4.4数据离散化94
4.4.1无监督离散化95
4.4.2监督离散化96
4.5数据归约96
4.5.1过滤法97
4.5.2包装法99
4.5.3嵌入法99
4.6数据降维100
4.6.1主成分分析法101
4.6.2线性判别分析法101
4.7学生考试成绩预处理102
4.8本章小结106
第5章决策树分类107
5.1相似性和相异性的度量107
5.1.1数据对象之间的相异度107
5.1.2数据对象之间的相似度109
5.2分类概述111
5.2.1分类的基本概念111
5.2.2分类的一般流程112
5.3决策树分类概述113
5.3.1决策树的工作原理113
5.3.2选择最佳划分属性的度量117
5.3.3决策树分类待测样本的过程120
5.4ID3决策树120
5.4.1ID3决策树的工作原理120
5.4.2Python实现ID3决策树122
5.4.3使用ID3决策树预测贷款申请130
5.4.4ID3决策树的缺点131
5.5C4.5决策树的分类算法131
5.5.1C4.5决策树的工作原理131
5.5.2Python实现C4.5决策树133
5.5.3使用C4.5决策树预测鸢尾花类别139
5.6CART决策树139
5.6.1CART决策树的工作原理139
5.6.2Python实现CART决策树139
5.7本章小结143
第6章贝叶斯分类144
6.1贝叶斯定理144
6.1.1概率基础144
6.1.2贝叶斯定理简介146
6.1.3先验概率与后验概率147
6.2朴素贝叶斯分类的原理与分类流程147
6.2.1贝叶斯分类原理147
6.2.2朴素贝叶斯分类的流程147
6.3高斯朴素贝叶斯分类150
6.3.1scikitlearn实现高斯朴素贝叶斯分类150
6.3.2Python实现iris高斯朴素贝叶斯分类151
6.4多项式朴素贝叶斯分类156
6.5伯努利朴素贝叶斯分类157
6.6本章小结157
第7章支持向量机分类158
7.1支持向量机概述158
7.1.1支持向量机的分类原理158
7.1.2最大边缘超平面158
7.2线性支持向量机159
7.2.1线性决策边界159
7.2.2线性分类器边缘160
7.2.3训练线性支持向量机模型161
7.3Python实现支持向量机163
7.3.1SVC支持向量机分类模型164
7.3.2NuSVC支持向量机分类模型166
7.3.3LinearSVC支持向量机分类模型167
7.4本章小结168
第8章感知器分类169
8.1人工神经元169
8.1.1神经元概述169
8.1.2激活函数170
8.2感知器171
8.2.1感知器模型171
8.2.2感知器学习算法172
8.3Python实现感知器学习算法概述174
8.3.1Python实现感知器学习算法174
8.3.2使用感知器分类鸢尾花数据175
8.4本章小结177
第9章回归178
9.1回归概述178
9.1.1回归的概念178
9.1.2回归处理流程178
9.1.3回归的分类178
9.2一元线性回归178
9.2.1一元线性回归模型178
9.2.2使用一元线性回归预测房价182
9.3多元线性回归185
9.3.1多元线性回归模型185
9.3.2使用多元线性回归分析广告媒介与销售额之间的关系187
9.3.3多元线性回归模型预测电能输出188
9.4非线性回归191
9.4.1多项式回归191
9.4.2非多项式的非线性回归195
9.5逻辑回归198
9.5.1逻辑回归模型199
9.5.2对鸢尾花数据进行逻辑回归分析201
9.6本章小结203
第10章聚类204
10.1聚类概述204
10.1.1聚类的概念204
10.1.2聚类方法类型205
10.1.3聚类应用领域206
10.2k均值聚类206
10.2.1k均值聚类的原理206
10.2.2Python实现对鸢尾花的k均值聚类208
10.3层次聚类方法211
10.3.1层次聚类的原理211
10.3.2Python实现凝聚层次聚类214
10.3.3BIRCH聚类的原理217
10.3.4Python实现BIRCH聚类220
10.4密度聚类221
10.4.1密度聚类的原理221
10.4.2Python实现DBSCAN密度聚类224
10.5本章小结227
第11章关联规则挖掘228
11.1关联规则挖掘概述228
11.1.1购物篮分析228
11.1.2关联规则相关概念229
11.1.3关联规则类型231
11.2频繁项集的产生232
11.2.1先验原理233
11.2.2Apriori算法产生频繁项集233
11.2.3候选项集的产生与剪枝236
11.2.4频繁项集及其支持度的Python实现237
11.3关联规则的产生239
11.3.1关联规则产生的原理239
11.3.2Apriori算法产生关联规则的方式240
11.3.3频繁项集的紧凑表示241
11.4FP增长算法242
11.4.1构建FP树243
11.4.2FP树的挖掘245
11.5本章小结247
第12章推荐系统248
12.1推荐系统的概念248
12.1.1基本概念248
12.1.2推荐系统的类型249
12.2基于内容的推荐250
12.2.1文本表示251
12.2.2文本相似度257
12.2.3Python实现基于内容的推荐258
12.3基于用户的协同过滤推荐261
12.3.1收集用户偏好262
12.3.2寻找相似的用户262
12.3.3为相似的用户推荐商品266
12.4基于物品的协同过滤推荐267
12.4.1获取用户对物品的评分267
12.4.2计算物品共同出现的次数和一个物品被多少个用户购买268
12.4.3计算物品之间的相似度268
12.4.4给用户推荐物品269
12.5本章小结270
第13章电商评论网络爬取与情感分析271
13.1网络爬虫概述271
13.1.1网页的概念271
13.1.2网络爬虫的工作流程271
13.2使用BeautifulSoup库提取网页信息272
13.2.1BeautifulSoup的安装272
13.2.2BeautifulSoup库的导入272
13.2.3BeautifulSoup类的基本元素273
13.2.4HTML内容搜索274
13.3使用urllib库编写简单的网络爬虫277
13.3.1发送不带参数的GET请求277
13.3.2模拟浏览器发送带参数的GET请求278
13.3.3URL解析279
13.4爬取京东小米手机评论280
13.4.1京东网站页面分析280
13.4.2编写京东小米手机评论爬虫代码283
13.5对手机评论文本进行情感分析286
13.5.1文本情感倾向分析的层次286
13.5.2中文文本情感倾向分析287
13.5.3评论文本情感倾向分析288
13.5.4评论文本分词290
13.5.5去除停用词291
13.5.6评论文本的LDA主题分析292
13.6本章小结297
参考文献298