GitHub 上有哪些优秀的 Python 爬虫项目?

一行数据

共 1179字,需浏览 3分钟

 ·

2021-12-29 09:38

大家好,我是一行

爬虫这种项目,只要博主不去维护,那过段时间也都会失效

毕竟是作为一门被动技术,只要网站守方更新防御机制,那爬虫攻方也得更新策略

所以就经常会有小伙伴来问我,怎么爬不了呢?就是规则改了没人维护了呗

这里一行推荐几个最受大家欢迎的Python项目,毕竟热度越高,博主维护的积极性也是越高

1最简单的爬虫不用代码

首先是简单的爬虫脚本生成器,那些低难度的爬虫脚本全都可以使用生成器生成

只要复制对应网站的cURl数据,复制粘贴到生成器里,3秒就能生成对应语言的爬虫脚本,而且12种语言任意选择转换(Python,Ansible URI,MATLAB,Node.js,R,PHP,Strest,Go,Dart,JSON,Elixir,Rust)

项目地址:http://tool.yuanrenxue.com/curl

2一些非常有趣的python爬虫例子

一些常见的网站爬虫例子,代码通用性较高,时效性较久。项目代码对新手比较友好,尽量用简单的python代码,并配有大量注释。

毕竟下面这些爬虫小例子弄懂之后,你才能说爬虫入了门:

  • 淘宝模拟登录

  • 天猫商品数据爬虫(已模拟登录)

  • 淘宝已买到的宝贝数据爬虫(已模拟登录)

  • 每天不同时间段通过微信发消息提醒女友

  • 爬取5K分辨率超清唯美壁纸

  • 爬取豆瓣排行榜电影数据(含GUI界面版)

  • 爬取天天基金网所有基金数据

  • 一键生成微信个人专属数据报告(了解你的微信社交历史)

  • 一键生成QQ个人历史报告

  • 一键生成个人微信朋友圈数据电子书

  • 一键分析你的上网行为(web页面可视化)

项目地址:https://github.com/shengqiangzhang/examples-of-web-crawlers

312306智能订票

这个项目实现12306 自动打码、自动登录、准点预售和捡漏、智能候补、邮件通知、server通知

可以说什么转发凑加速包再也用不上了

项目地址:https://github.com/testerSunshine/12306

4ProxyPool 爬虫代理IP池

没有代理的爬虫,永远成不了规模的爬虫

这个爬虫代理IP池项目,主要功能为定时采集网上发布的免费代理验证入库,定时验证入库的代理保证代理的可用性,提供API和CLI两种使用方式。

同时你也可以扩展代理源以增加代理池IP的质量和数量。

项目地址:https://github.com/jhao104/proxy_pool

你知道的越多,你不知道也就越多

今天的分享就先到这,技术永不眠,我们下期见


当然Python相关的电子书我也给整理好了在下面👇


浏览 37
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报