Python程序员爬出百套美女写真集,同样是爬虫,他为何如此突出?

共 1097字,需浏览 3分钟

 ·

2021-06-03 22:24


前言

人生苦短,Python当歌!

python爬虫


用python爬虫是一件非常使人愉快的事情,图片、数据、小视频一切皆可爬取,可是我们会经常发现下载图片的时候会非常慢,难以忍受。

我们都知道一个人做事必然没有十个人做事快,那一个进程速度慢,用十个进程就好了呀。所以今天要跟大家分享一个多进程爬虫的制作。(GIL的存在导致Python的多线程点有坑)


大家应该知道在多进程中,进程之间是不能相互通信的,这就有一个问题出现了!多个进程怎么知道哪些需要爬取、哪些已经被爬取了?

这就涉及到队列了,如果需要更为稳定健壮的队列,应该使用Celery这一类的专用消息传递工具,不过为了简便,这次我们使用MongoDB。

构建思路

好了!先来理一下思路:每个进程需要知道哪些URL爬取过了、哪些URL需要爬取!我们来给每个URL设置两种状态:

outstanding:等待爬取的URL

complete:爬取完成的URL

那么失败的URL的怎么办呢?我们在增加一种状态:

processing:正在进行的URL

嗯!当一个所有初始的URL状态都为outstanding;当开始爬取的时候状态改为:processing;爬取完成状态改为:complete;失败的URL重置状态为:outstanding。为了能够处理URL进程被终止的情况、我们设置一个计时参数,当超过这个值时;我们则将状态重置为outstanding。

接下来看代码部分

首先我们需要一个模块:datetime(这个模块比内置time模块要好使一点)

下面是队列的代码:


代码1

代码2


代码3

好了,队列我们做好了,下面是获取所有页面的代码。


下面就是多进程+多线程的下载代码了:




好啦!一个多进程多线的爬虫就完成了。(其实可以设置一下MongoDB,然后调整一下连接配置,在多台机器上跑哦!!嗯,就是超级简化版的分布式爬虫了,虽然很是简陋。

大家可以参考上面代码,单独处理图片地址试试(就是多个进程直接下载图片)应该八分钟能下载100套图~


当然还有一种加速的方法叫做“异步”!因为爬虫大部分时间都是在等待response中!‘异步’则能让程序在等待response的时间去做的其他事情,当然也会复杂许多。

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

觉得不错,点个“在看”然后转发出去


浏览 50
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报