Python技巧：如何提高爬虫速度？
共 3388字，需浏览 7分钟
·
2021-10-27 12:43
文 | 闲欢
来源：Python 技术「ID: pythonall」
今天在浏览知乎时，发现一个有趣的问题：
如何优化 Python 爬虫的速度？
他的问题描述是：
目前在写一个 Python 爬虫，单线程 urllib 感觉过于慢了，达不到数据量的要求（十万级页面）。求问有哪些可以提高爬取效率的方法？
这个问题还蛮多人关注的，但是回答的人却不多。
我今天就来尝试着回答一下这个问题。
程序提速这个问题其实解决方案就摆在那里，要么通过并发来提高单位时间内处理的工作量，要么从程序本身去找提效点，比如爬取的数据用gzip传输、提高处理数据的速度等。
我会分别从几种常见的并发方法去做同一件事情，从而比较处理效率。
简单版本爬虫
我们先来一个简单的爬虫，看看单线程处理会花费多少时间？
import time
import requests
from datetime import datetime
def fetch(url):
r = requests.get(url)
print(r.text)
start = datetime.now()
t1 = time.time()
for i in range(100):
fetch('http://httpbin.org/get')
print('requests版爬虫耗时：', time.time() - t1)
# requests版爬虫耗时：54.86306357383728
我们用一个爬虫的测试网站，测试爬取100次，用时是54.86秒。
多线程版本爬虫
下面我们将上面的程序改为多线程版本：
import threading
import time
import requests
def fetch():
r = requests.get('http://httpbin.org/get')
print(r.text)
t1 = time.time()
t_list = []
for i in range(100):
t = threading.Thread(target=fetch, args=())
t_list.append(t)
t.start()
for t in t_list:
t.join()
print("多线程版爬虫耗时：", time.time() - t1)
# 多线程版爬虫耗时：0.8038511276245117
我们可以看到，用上多线程之后，速度提高了68倍。其实用这种方式的话，由于我们并发操作，所以跑100次跟跑一次的时间基本是一致的。这只是一个简单的例子，实际情况中我们不可能无限制地增加线程数。
多进程版本爬虫
除了多线程之外，我们还可以使用多进程来提高爬虫速度：
import requests
import time
import multiprocessing
from multiprocessing import Pool
MAX_WORKER_NUM = multiprocessing.cpu_count()
def fetch():
r = requests.get('http://httpbin.org/get')
print(r.text)
if __name__ == '__main__':
t1 = time.time()
p = Pool(MAX_WORKER_NUM)
for i in range(100):
p.apply_async(fetch, args=())
p.close()
p.join()
print('多进程爬虫耗时：', time.time() - t1)
多进程爬虫耗时： 7.9846765995025635
我们可以看到多进程处理的时间是多线程的10倍，比单线程版本快7倍。
协程版本爬虫
我们将程序改为使用 aiohttp 来实现，看看效率如何：
import aiohttp
import asyncio
import time
async def fetch(client):
async with client.get('http://httpbin.org/get') as resp:
assert resp.status == 200
return await resp.text()
async def main():
async with aiohttp.ClientSession() as client:
html = await fetch(client)
print(html)
loop = asyncio.get_event_loop()
tasks = []
for i in range(100):
task = loop.create_task(main())
tasks.append(task)
t1 = time.time()
loop.run_until_complete(main())
print("aiohttp版爬虫耗时：", time.time() - t1)
aiohttp版爬虫耗时： 0.6133313179016113
我们可以看到使用这种方式实现，比单线程版本快90倍，比多线程还快。
结论
通过上面的程序对比，我们可以看到，对于多任务爬虫来说，多线程、多进程、协程这几种方式处理效率的排序为：aiohttp > 多线程 > 多进程。因此，对于简单的爬虫任务，如果想要提高效率，可以考虑使用协程。但是同时也要注意，这里只是简单的示例，实际运用中，我们一般会用线程池、进程池、协程池去操作。
这就是问题的答案了吗？
对于一个严谨的程序员来说，当然不是，实际上还有一些优化的库，例如grequests，可以从请求上解决并发问题。实际的处理过程中，肯定还有其他的优化点，这里只是从最常见的几种并发方式去比较而已，应付简单爬虫还是可以的，其他的方式欢迎大家在评论区留言探讨。
推荐阅读:
入门: 最全的零基础学Python的问题 | 零基础学了8个月的Python | 实战项目 |学Python就是这条捷径
量化: 定投基金到底能赚多少钱？ | 我用Python对去年800只基金的数据分析
干货:爬取豆瓣短评，电影《后来的我们》 | 38年NBA最佳球员分析 | 从万众期待到口碑扑街！唐探3令人失望 | 笑看新倚天屠龙记 | 灯谜答题王 ｜用Python做个海量小姐姐素描图 ｜碟中谍这么火，我用机器学习做个迷你推荐系统电影
趣味:弹球游戏 | 九宫格 | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火，我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word，轻松搞定表格和水印！ | 一键把html网页保存为pdf！| 再见PDF提取收费！ | 用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器！ ｜60行代码做了一个语音壁纸切换器天天看小姐姐！｜
年度爆款文案
点阅读原文,看Python全套！
