Python数据分析与可视化项目实战

第1章  电影产业市场数据分析和可视化系统(Flask FastAPI Vue Echarts) 1
1.1  电影产业介绍 2
1.2  电影市场的需求分析 2
1.2.1  市场需要高质量作品 2
1.2.2  国内电影市场的变化 3
1.3  系统架构 3
1.4  准备数据 4
1.5  后端数据分析模块 5
1.5.1  后端系统配置 5
1.5.2  注册FastAPI访问 6
1.5.3  URL错误处理 9
1.5.4  后端数据分析 11
1.5.5  后端主文件 15
1.5.6  日志处理 16
1.6  前端数据可视化模块 18
1.6.1  前端系统配置 18
1.6.2  前台主页 19
1.6.3  电影时长占比图 28
1.6.4  电影上映年份趋势图 33
1.6.5  各国及地区电影出产量统计图 37
1.6.6  电影类别排行统计图 41
1.6.7  电影语言使用统计图 46
1.6.8  各国及地区电影评分展示统计图 52
第2章  电商客户数据分析和可视化系统(Jupyter Notebook Scikit-Learn Matplotlib Pandas) 59
2.1  电商行业发展介绍 60
2.1.1  国内电商市场现状分析 60
2.1.2  电商行业发展趋势介绍 60
2.2  需求分析 61
2.2.1  电商的商业模式 61
2.2.2  核心指标需求分析 62
2.2.3  指标体系需求分析 63
2.2.4  数据分析方法 65
2.2.5  电商平台“人”的指标思维导图 66
2.3  系统架构 66
2.4  准备数据 67
2.5  数据分析 68
2.5.1  数据清洗 68
2.5.2  数据分析 73
2.5.3  数据建模 78
第3章  房产信息数据分析和可视化系统(网络爬虫 MySQL pylab实现) 85
3.1  背景介绍 86
3.1.1  行业发展现状 86
3.1.2  房地产行业市场调查 86
3.2  需求分析 87
3.3  系统架构 87
3.4  系统设置 88
3.4.1  选择版本 88
3.4.2  保存日志信息 89
3.4.3  设置创建的文件名 89
3.4.4  设置爬取城市 91
3.4.5  处理区县信息 93
3.4.6  处理日期和时间 95
3.5  破解反爬机制 95
3.5.1  定义爬虫基类 96
3.5.2  浏览器用户代理 97
3.5.3  在线IP代理 98
3.6  爬虫爬取信息 99
3.6.1  设置解析元素 99
3.6.2  爬取二手房信息 99
3.6.3  爬取楼盘信息 103
3.6.4  爬取小区信息 107
3.6.5  爬取租房信息 110
3.7  数据可视化 115
3.7.1  爬取数据并保存到数据库 115
3.7.2  可视化济南市房价最贵的4个小区 120
3.7.3  可视化济南市主要地区的房价均价 121
3.7.4  可视化济南市主要地区的房源数量 123
3.7.5  可视化济南市各区的房源数量所占百分比 124
第4章  城市智能交通数据分析和可视化系统(Pandas Matplotlib Numpy) 127
4.1  背景介绍 128
4.2  需求分析 128
4.2.1  城市交通存在的问题 128
4.2.2  智能交通建设的必要性 129
4.2.3  项目目标 130
4.3  系统架构 131
4.4  从CSV文件读取数据 132
4.4.1  读取并显示CSV文件中的前3条骑行数据 132
4.4.2  读取并显示CSV文件中指定列的数据 134
4.4.3  用统计图可视化CSV文件中的数据 135
4.4.4  选择指定数据 136
4.5  日期相关操作 142
4.5.1  统计每个月的骑行数据 142
4.5.2  展示某街道前5天的骑行数据信息 143
4.5.3  统计周一到周日每天的数据 145
4.5.4  使用Matplotlib图表可视化展示统计数据 146
第5章  NBA球星技术统计信息数据分析和可视化系统(网络爬虫 Referer反爬 JSON Matplotlib Pandas) 149
5.1  背景介绍 150
5.1.1  NBA介绍 150
5.1.2  NBA的全球化 150
5.2  需求分析 151
5.3  系统架构 151
5.4  球员特征可视化 152
5.4.1  爬取球员得分信息 152
5.4.2  球员数据聚类分析 155
5.5  球员数据可视化雷达图 161
5.5.1  分析季后赛杜兰特的数据 161
5.5.2  分析季后赛库里的数据 166
5.6  球星命中数据信息可视化 167
5.6.1  绘制篮球场 168
5.6.2  爬取球星库里的投篮信息：Referer反爬 171
5.6.3  库里投篮信息的可视化 174
5.6.4  杜兰特投篮信息的可视化 175
第6章  股票数据分析和可视化系统(网络爬虫 Selenium TuShare Matplotlib Scikit-Learn) 177
6.1  背景介绍 178
6.2  需求分析 178
6.2.1  股票历史数据分析的目的与意义 178
6.2.2  股票数据分析 179
6.3  系统架构 179
6.4  爬取股票实时涨幅榜信息 180
6.4.1  准备Selenium环境 180
6.4.2  爬取数据 181
6.4.3  获取指定股票所属行业信息 182
6.4.4  获取涨幅榜和跌幅榜信息 183
6.4.5  将涨幅榜前10和跌幅榜前10股票数据保存到Excel文件 184
6.5  AI选股系统 186
6.5.1  准备TuShare 186
6.5.2  跟踪热点板块 187
6.5.3  数据建模和评估分析 199
第7章  民宿信息数据分析和可视化系统(网络爬虫 Django Echarts可视化) 219
7.1  背景介绍 220
7.2  系统架构 221
7.3  爬虫爬取信息 221
7.3.1  系统配置 221
7.3.2  Item处理 222
7.3.3  具体爬虫 223
7.3.4  破解反爬字体加密 232
7.3.5  下载器中间件 235
7.3.6  保存爬虫信息 239
7.4  数据可视化 244
7.4.1  数据库设计 244
7.4.2  登录验证表单 247
7.4.3  视图显示 248
第8章  足球数据可视化分析和机器学习预测系统(Matplotlib Pandas Seaborn Scikit-Learn实现) 259
8.1  欧洲足球五大联赛 260
8.2  系统架构 261
8.3  准备数据 261
8.4  数据可视化分析 262
8.4.1  事件收集 262
8.4.2  射门数据可视化 266
8.4.3  球队和球员数据可视化 268
8.4.4  联赛数据可视化 275
8.4.5  巴塞罗那队的进球数据百分比饼图 279
8.4.6  红牌和黄牌数据可视化 280
8.4.7  进球数据可视化 285
8.4.8  梅西和C罗的数据可视化 292
8.4.9  五大联赛的球员数量可视化 295
8.5  比赛预测 296
8.5.1  读取数据 296
8.5.2  清洗数据 299
8.5.3  逻辑回归算法 300
8.5.4  梯度提升模型 301
8.5.5  随机森林 302
8.5.6  深度学习 303
第9章  网络舆情数据分析和可视化系统(Scikit-Learn Tornado Celery FastAPI Pandas Vue) 305
9.1  系统介绍 306
9.1.1  舆情数据分析的意义 306
9.1.2  舆情热度分析 306
9.2  架构设计 307
9.2.1  模块分析 307
9.2.2  系统架构 308
9.3  微博爬虫 309
9.3.1  系统配置 309
9.3.2  批量账号模拟登录 309
9.3.3  爬取信息 311
9.4  系统后端 322
9.4.1  系统配置 322
9.4.2  数据结构设计 323
9.4.3  数据处理 327
9.4.4  微博话题分析 334
9.5  系统前端 341
9.5.1  API导航 341
9.5.2  博文详情 342