想学爬虫的,看过来~

咪哥杂谈

共 814字,需浏览 2分钟

 ·

2020-04-27 23:21

咪哥杂谈


8e56894c1aab30a6b0f297713c8f47a7.webp

本篇阅读时间约为 3 分钟。


1

前言


平时我有个习惯,就是要经常去 github 上看看有哪些开源项目热门起来了。
那今天就给大家推荐一个近期比较火热,极其友好的爬虫开源项目。
极其友好,特指对小白极其友好~面向小白的爬虫小例子非常经典,并且其中涉及了一些淘宝,豆瓣等大型网站。
且不论技术细节是怎么实现的,如果对电商等平台有数据需要,并且对爬虫技术非常感兴趣的小伙伴,可以参考借鉴,那么废话不多说,带大家来看下,下面进入正题。



2

项目介绍


迄今为止,北京时间 2020年04月25日。此项目 star 数已有 8k+。


fdf0da0eb617e6fb524e5c29b8376847.webp


f65ba6de7efbfc8ebdeaa653be512b00.webp


简单的看下目录,有些小例子确实很吸引人:


967eeda6bd1a43531a8f0f9dad8fc893.webp


天天基金,天猫商品,微信读书,看上去都是比较实用的"小工具"。


此项目友好就友好在,这里的每个目录,作者以文章的形式详细的讲解了技术细节,代码细节。


有的是用抓包得到的接口,有的是用 selenium 动态模拟,有的是用 requests 库模拟请求.....


善用 github 进行学习检索,也是一项必备技能!
这里教对技术感兴趣的同学一个小技巧,一个是平时没事可以逛逛 github 热榜,还有一个就是可以 follow 某个语言领域的大神开源作者。
因为 github 的 profile 信息主页,是以一种瀑布流形式的信息进行推送刷新。当你关注的作者有更新,提交,创建项目,或是star,fork了项目,这些动态都会在你的主页进行显示的,如下图:

2fb52fc597da075a88923433ff468382.webp


3

结语


好久没有给大家推荐学习资料了,所以写了这么一篇推荐资料文!


如果想解锁本开源项目更多内容,扫描下方二维码进行查看(扫完会跳转到开源项目主页):

文字链接:https://github.com/shengqiangzhang/examples-of-web-crawlers


题图 - pexels - malcolm garret



▼往期精彩回顾▼推荐个网站!
这样的搜索姿势,真是爽爆了!!~




浏览 36
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报