10个项目实战，30天学会爬虫，这个学习路线绝了！
共 2010字，需浏览 5分钟
·
2021-04-20 16:24
我其实没想到大家对爬虫的热情会有这么高，我的粉丝群体中似乎所有人都想学习爬虫。
反过来想想，其实也不奇怪：爬虫就等于数据，做什么不需要数据呢？
以数据为生命线的平台，比如抖查查，天眼查，需要爬虫来收集数据。 数据分析师需要爬虫采集数据：房价信息，商品信息等等 办公室的人用爬虫自动提交数据，实现办公自动化 喜欢小姐姐的人抓取图片，想看小说的人抓取小说，下载视频等等 找工作抓BOSS直聘等网站，对比合适又性价比高的岗位 租房抓自如等租房网站，找到适合自己的房源，防止被坑 了解行业动态，抓行业相关新闻，在商业竞争中占据主动权
根据大家的要求，我在B站和公众号也发过爬虫学习路线的视频和文章。
B站视频：
但我发现这个基于能力和知识点的学习路线虽然看起来不错，在没有实际项目做支撑，是很难进行的。
在和很多人的沟通中，我也发现了学习爬虫几个误区。
学爬虫的几个误区
不理解：比着葫芦画瓢开发出一个简单的爬虫，但不理解其中的原理，稍微变换一下又不会了。 缺乏明确的目标：如果你的目标是学会爬虫，这个不够明确。要进一步细化和明确目标，比如：学会爬你最需要的3个网站。 贪多，贪全：基础都没打好，就想要一口吃个胖子。很多人觉得某一件事情不难，但自己却从来没有做过，或者从来没学会过。 缺少实战经验：爬虫涉及的知识体系非常丰富，超出了任何一门语言的范围。如果以知识点驱动来学习爬虫会非常困难也抓不住重点。
我一直是崇尚以实战为接入点却学习技术，比如我在B站的硬核Python也是以实战为基础的，很多人都熟悉小麦机器人等项目。
几周前，我忽然想到，爬虫的学习路线也可以这样去搞：
找10个有难度阶梯的网站，熟练的掌握这10个网站的爬取方法。 在这10个项目的实战中，掌握爬虫必备的技能，建立爬取市面上80%网站的能力。
这个学习路线比以能力和知识为主线的阶梯要容易执行的多：
目标非常明确，学会爬10个难度不同的网站。 目标明确了，就可以深度学习。确保完全理解10个网站的抓取过程，而不是比着葫芦画瓢。 不贪多，不贪全，就10个网站（另外还包括几个练习网站）。但不贪多，在扎实的掌握这些之前，不去想App抓取，不去特别难的网站。 实战，上来就是实战，最后还是实战。但实战过后学会了知识，学以致用。
说干就干，下面是我们筛选出的10个项目。
10个项目学会爬虫
具体的网站仅供参考，可能会换成难度相同的同类网站。
注：8和9是同一个网站，使用了不同的方法。
下面是10个网站列表和相关知识点：
网站仅供参考，可以换成难度相同的其他网站。 以学习为目的，抓取过程一定要适量，不要给网站运营带来压力。
30天的安排
有了目标还要有计划。我看过很多人说想学Python，一年前就来找我聊，一年后还是那种状态。没有时间计划的目标，大多是实现不了的目标。
我给这10个项目设定了30天的学习计划。
这个30天的爬虫计划，第一天就要先了解爬虫守则，大家都听过多个爬虫进公安局的故事。所以这件事特别重要。
其实爬虫是无罪的，了解了守则后大可不必谈爬虫色变，否则百度，谷歌，天眼查这些大公司和平台就都进去了。你要理解：什么是不可逾越的红线？什么可以爬？可以爬多少？如何文明优雅的爬？
然后就是分天去攻克这10个爬虫项目，它们涉及到不同的知识点，从最简单的小虫卵，到分布式的大型爬虫。
对爬虫感兴趣的，欢迎免费加入爬虫讨论群，这里有很多大牛，每天讨论各种爬虫问题。加群请加麦叔微信：maishu1024，备注爬虫交流群。通过也许有点慢，请耐心等待，24小时之内通过。
这10个项目的学习路线，你可以自己按照这个节奏去学习。麦叔也开设训练营，帮助想30天拿结果的小伙伴。有兴趣找麦叔私聊：maishu1024，备注：训练营。
更多干货，免费来拿！
除了前面的基于能力阶梯的学习路线，和基于项目实战的学习路线，麦叔在公众号给大家准备了很多爬虫的干货：
爬虫进阶 - 前后端分离有什么了不起，过程超详细 一个Python爬虫工程师的修养 搞疯爬虫程序员的8个难点！！ 爬虫要讲武德，你却用正则 - 一篇文章搞定正则表达式！ 代理IP，增量爬虫，分布式爬虫的必备利器 - redis！ 杭州车牌摇号73次不中的辛酸经历，我用Python找到了原因 破了这几种爬虫加密算法后，我离牢房的路更近了 更多干货文章请关注公众号麦叔编程，回复爬虫获取....
微信视频号：