爬虫遇到反爬机制怎么办? 看看我是如何解决的！
大邓和他的Python
共 4724字，需浏览 10分钟
· 2021-02-11
01
前言
想着爬取『豆瓣』的用户和电影数据进行『挖掘』，分析用户和电影之间以及各自之间的关系，数据量起码是万级别的。
但是在爬取过程中遇到了反爬机制，因此这里给大家分享一下如何解决爬虫的反爬问题？（以豆瓣网站为例）
02
问题分析
起初代码
headers = {'Host':'movie.douban.com','User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36','cookie':'bid=uVCOdCZRTrM; douban-fav-remind=1; __utmz=30149280.1603808051.2.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __gads=ID=7ca757265e2366c5-22ded2176ac40059:T=1603808052:RT=1603808052:S=ALNI_MYZsGZJ8XXb1oU4zxzpMzGdK61LFA; _pk_ses.100001.4cf6=*; __utma=30149280.1867171825.1603588354.1603808051.1612839506.3; __utmc=30149280; __utmb=223695111.0.10.1612839506; __utma=223695111.788421403.1612839506.1612839506.1612839506.1; __utmz=223695111.1612839506.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmc=223695111; ap_v=0,6.0; __utmt=1; dbcl2="165593539:LvLaPIrgug0"; ck=ZbYm; push_noty_num=0; push_doumail_num=0; __utmv=30149280.16559; __utmb=30149280.6.10.1612839506; _pk_id.100001.4cf6=e2e8bde436a03ad7.1612839506.1.1612842801.1612839506.','accept': 'image/avif,image/webp,image/apng,image/*,*/*;q=0.8','accept-encoding': 'gzip, deflate, br','accept-language': 'zh-CN,zh;q=0.9','upgrade-insecure-requests': '1',#'referer':'',}url = "https://movie.douban.com/subject/24733428/reviews?start=0"r = requests.get(url, headers=headers)
上面是基本的爬虫代码，在requests里面设置headers（包含cookie），如果没有反爬机制的话，可以正常爬取数据。
但是『豆瓣』网站有反爬机制！！
爬取就10几页之后，就出现这个验证！！
更关键的是：验证之后接着爬取，几秒后又出现这个，即使设置几秒爬取一次也无法解决！
03
解决方案
方案猜想
根据多年的爬虫经验，首先想到的是设置IP代理，这样就相当于不同用户在爬取网站，因此就通过ip代理去尝试，看看能否解决『豆瓣』的反爬机制。
获取大量IP代理
如果单纯设置一个IP代理，那样跟咱们之前在自己电脑上爬取没有什么区别，因此需要大量的IP代理，通过随机抽取的方式去使用IP代理，这样可以避免同一IP去爬取被『豆瓣』反爬机制禁爬。
IP代理正常来说，很贵，作为白嫖党，这里使用免费ip代理（亲测可用）
白嫖过程
https://h.shenlongip.com/index/index.html白嫖的IP代理平台是：神龙Http，（这里不是广告，只是觉得可以白嫖，跟大家分享）
注册之后，可以免费获取1000个IP代理（详细过程就不介绍了，重点如何使用IP代理解决反爬问题~）
这样我们就可以将提取的IP代理放到文本文件中。
设置IP代理
读取IP代理
iplist=[]with open("ip代理.txt") as f:iplist = f.readlines()
刚刚已经将ip全部保存到文本文件中，现在读取出来放到iplist中
随机抽取IP代理
#获取ip代理def getip():proxy= iplist[random.randint(0,len(iplist)-1)]proxy = proxy.replace("\n","")proxies={'http':'http://'+str(proxy),#'https':'https://'+str(proxy),}return proxies
通过random函数，可以在iplist 代理集合中，随机抽取IP代理，并封装成proxies格式（requests的ip代理规定格式）
注解：这里https被注释掉了，因为我这里的ip代理是http，所以有https的话则报错！
IP代理代码
headers = {'Host':'movie.douban.com','User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36','cookie':'bid=uVCOdCZRTrM; douban-fav-remind=1; __utmz=30149280.1603808051.2.2.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __gads=ID=7ca757265e2366c5-22ded2176ac40059:T=1603808052:RT=1603808052:S=ALNI_MYZsGZJ8XXb1oU4zxzpMzGdK61LFA; _pk_ses.100001.4cf6=*; __utma=30149280.1867171825.1603588354.1603808051.1612839506.3; __utmc=30149280; __utmb=223695111.0.10.1612839506; __utma=223695111.788421403.1612839506.1612839506.1612839506.1; __utmz=223695111.1612839506.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmc=223695111; ap_v=0,6.0; __utmt=1; dbcl2="165593539:LvLaPIrgug0"; ck=ZbYm; push_noty_num=0; push_doumail_num=0; __utmv=30149280.16559; __utmb=30149280.6.10.1612839506; _pk_id.100001.4cf6=e2e8bde436a03ad7.1612839506.1.1612842801.1612839506.','accept': 'image/avif,image/webp,image/apng,image/*,*/*;q=0.8','accept-encoding': 'gzip, deflate, br','accept-language': 'zh-CN,zh;q=0.9','upgrade-insecure-requests': '1',#'referer':'',}url = "https://movie.douban.com/subject/24733428/reviews?start=0"r = requests.get(url, proxies=getip(), headers=headers, verify=False)
加了IP代理之后，爬取了几百页也没有遇到过验证问题。轻松爬取万级别的数据没问题。
已经爬取了8677条数据，一直没有验证出现，程序还在继续运行~~~
时间间隔
如果还是遇到验证机制，可以添加时间间隔，在爬取每一页的时候，先让程序暂停几秒（自定义）
time.sleep(random.randint(3,5))random.randint(3,5)是随机生成3~5之间的数字，因此程序在爬取一次后就随机暂停3~5秒。这样也是一个有效防止触发反爬机制。
04
总结
讲解了通过IP代理和时间间隔去解决反爬验证问题
白嫖可用的IP代理
爬取好的数据将会进一步分析和挖掘，本文就讲解如何解决爬虫的反爬问题（毕竟大家时间宝贵，都是碎片化阅读，一下子太多内容难易消化）。
近期文章
Python网络爬虫与文本数据分析 网络直播 | Python网络爬虫与文本分析 bsite库 | 采集B站视频信息、评论数据 爬虫实战 | 采集&可视化知乎问题的回答 pdf2docx库 | 转文件格式，支持抽取文件中的表格数据 rpy2库 | 在jupyter中调用R语言代码 tidytext | 耳目一新的R-style文本分析库 reticulate包 | 在Rmarkdown中调用Python代码 plydata库 | 数据操作管道操作符>> plotnine: Python版的ggplot2作图库 七夕礼物 | 全网最火的钉子绕线图制作教程 读完本文你就了解什么是文本分析 文本分析在经管领域中的应用概述 综述:文本分析在市场营销研究中的应用 plotnine: Python版的ggplot2作图库 小案例: Pandas的apply方法 stylecloud:简洁易用的词云库 用Python绘制近20年地方财政收入变迁史视频 Wow~70G上市公司定期报告数据集 漂亮~pandas可以无缝衔接Bokeh YelpDaset: 酒店管理类数据集10+G
“分享”和“在看”是更好的支持！
评论
偷偷告诉你如何一台电脑开多个微信！
大家好，我是轩辕。前几天在粉丝群里，有人问我是怎么在一台电脑上同时登录两个微信的？正好之前写过一篇文章，分析过原理，分享给没看过的小伙伴学习一下。手机端多开微信估计很多人都知道，像华为、小米等手机系统都对此做了支持，不过在运行Windows系统的电脑上怎么启动两个微信呢？其实很简单，你只需要写一个批
编程技术宇宙
0
盘点Lombok的几个骚操作，你绝对没用过！
👉 欢迎加入小哈的星球 ，你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目 2.0 版本完结啦， 演示链接：http://116.62.199.48/ ，新项目正在酝酿中
小哈学Java
0
堪称最优秀的Docker可视化管理工具——Portainer你真的会用吗？
来源：blog.csdn.net/shark_chili3007/article/details/123366179👉 欢迎加入小哈的星球 ，你将获得: 专属的项目实战 / Java 学习路线 / 一对一提问 / 学习打卡 / 赠书福利全栈前后端分离博客项目
小哈学Java
0
Apache Paimon毕业，湖仓架构的未来发展趋势！
北京时间 2024 年 4 月 16日，开源软件基金会 Apache Software Foundation（以下简称 ASF）正式宣布 Apache Paimon 毕业成为 Apache 顶级项目(TLP, Top Level Project)。经过社区的共同努力和持续创新，Apache Paim
程序源代码
0
JS的这些新特性，你都用过么？
大厂技术 高级前端 Node进阶点击上方 程序员成长指北，关注公众号回复1，加入高级Node交流群作为一门不断演进的语言，JavaScript每年都会引入新特性。这些特性的加入，能够帮助我们编写更加简洁、高效、易于维护的代码。然而，并非所有新特性
程序员成长指北
1
【深度学习】人人都能看懂的LSTM
熟悉深度学习的朋友知道，LSTM是一种RNN模型，可以方便地处理时间序列数据，在NLP等领域有广泛应用。在看了台大李宏毅教授的深度学习视频后，特别是介绍的第一部分RNN以及LSTM，整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。0. 从RNN说起循环神经网络（Recurrent Neur
机器学习初学者
0
我发现 Lombok的几个骚操作，哈哈好用
大家好，我是小富～前言本文不讨论对错，只讲骚操作。有的方法看看就好，知道可以这么用，但是否应用到实际开发中，那就仁者见仁，智者见智了。一万个读者就会有一万个哈姆雷特，希望这篇文章能够给您带来一些思考。耐心看完，你一定会有所收获。@onX例如 onConstructor, oMet
程序员内点事
0
测试新人，如何快速上手一个陌生的系统！
大家好，我是狂师！作为刚入行不久的测试新人，面对一个陌生的系统时，可能会感到有些手足无措。面对一个全新的系统系统，如何快速上手并展开有效的测试工作是一个重要的挑战。本文将探讨测试新人如何通过一系列步骤和策略，快速熟悉并掌握新系统的测试要点，从而提高测试效率和质量。本文旨在为测试新手提供一份指导，帮助
测试开发技术
0