别再研究秒杀茅台了，这个项目用爬虫捡漏买奔驰！
共 1961字，需浏览 4分钟
·
2021-02-05 00:11
最近几年，“二手经济”逐渐火热，二手车市场也在快速扩大。
相同的车型，二手车比新车要实惠许多，比如下图中的奔驰GLC级，二手车能比新车便宜5-20万不等。因此有越来越多的人在购置车辆时将二手车纳入了考量。
但众所周知，二手市场的水也比较深，一不小心就容易缴“智商税”，所以在购买二手车前，对市场有一定的了解是必不可少的。
今天我给大家带来了一个某二手车网站的实战项目，用Python来分析二手车市场行情。
一、明确需求
1、爬取某二手车网站奔驰GLC级轿车的信息（标题、购车年份、里程数、价格）
2、利用年限和行驶里程，分析二手车保价率信息
二、爬取数据
本例中我们将用selenium库来爬取数据。Selenium不同于其他的爬虫库，可以直接操纵浏览器，就像真正的用户在操作一样，安全性极高，不用担心被服务器屏蔽。
首先，利用xpath helper得到我们需要的内容的xpath表达式
xpath表达式中，我们只要更改其中“li[1]”中的数字，就能让程序将整页的数据都爬取下来，一页有40条数据，所以我们只要写一条1-40的循环即可。
分析出这些信息后，我们就可以着手写代码了。
车辆的购车年份、里程数、价格也可以通过同样的方式获取。
三、数据清洗
什么是数据清洗？数据清洗是一个对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。
比如在我们这个例子中，我们发现爬取下来的年份里有个“年”字，里程数后有“万公里”的字样，我们在进行数据分析的时候是不需要这些文本的，因此我们需要在数据清洗中将这些多余的汉字给“清洗”掉。
最后，我们将获取的数据以表格的形式输出，就得到了一份二手车数据的表格，可以开始我们的数据分析了！
怎么样，数据清洗是不是很简单？
四、数据可视化
得到了数据，我们就可以通过直观的方式对数据进行分析，从中发现数据的趋势、特征。
如图，左图的点阵图可以很明显地看到，购买年份越早的车，价格会聚集在更低的区间；而右图我们可以看到，里程数与价格呈负相关。
这样，我们就完成了一个数据分析的完整流程，数据爬取→数据清洗→数据分析→可视化输出→得出结论。
我们学习Python，尤其是学习数据分析，离不开大量实战业务的训练，这里给大家提供一个免费的实战训练的途径：网易云课堂的《3天数据分析实战集训营》
如果你想自己动手做这个项目，或者尝试其他实战项目（电商直播和Python量化）都可以领取这3节免费直播课，可以帮助大家快速掌握数据思维，体验真实的数据分析项目。现在报名课程后添加小助手，还可以领取4G网易内部资料包。
免费领取资料和大厂直播课
大家按照以下步骤，获取我特意挑选出来的书籍、视频。
1、扫二维码免费报名课程（限时300个名额）
2、报名成功后添加小助手即可免费领取资料
网易直播课内容详情
流程解析：5个关键步骤，掌握核心方法 过程处理：2个关键工具，提升工作效率 实战项目：二手车网站数据爬取+可视化
4个案例，用Python实现【交互式可视化报表】
入门级图表：用Python快速实现
进阶交互图：股票价格走势
动态趋势图：电商直播分析
地图效果图：销售数据汇总
场景工具：利用pandas工具分解KDJ指标构成
流程处理: 交易数据爬取，业务场景分析建模和可视化
分析结果：用KDJ指标模型对比特币行情买卖点搜索&交易回溯
实战项目：掌握根据数据指数和分析工具寻找虚拟货币买卖原理
免费领取资料和大厂直播课
大家按照以下步骤，获取我特意挑选出来的书籍、视频。
1、扫二维码免费报名课程（限时300个名额）
2、报名成功后添加小助手即可免费领取资料