我用单机单账号抓取了单条微博的 100w+ 评论

月小水长

共 865字,需浏览 2分钟

 ·

2021-10-30 13:51

    点击上方 月小水长 并 设为星标,第一时间接收干货推送

这是 月小水长 的第 94 篇原创干货

目前公众号平台改变了推送机制,点“赞”、点“在看”、添加过“星标”的同学,都会优先接收到我的文章推送,所以大家读完文章后,记得点一下“在看”和“赞”。

评论数据一向是微博数据比较难抓取的一部分,难在对于一条拥有 100w+ 评论的微博,能爬到的评论上限长期停留在 1w+ 左右,系列爬虫也对微博评论相关做了较多更新。合集如下:

2021 新版微博评论及子评论爬虫发布
2021 微博新版评论爬虫更新
【B 站视频教程】抓取用户微博和批量抓取评论

本次更新并公开的评论爬虫,将评论数据的上限提升了一个数据级,单条微博最多可以爬取 10w 左右的微博评论数据了,可以去第一篇文章 2021 新版微博评论及其子评论爬虫发布
获取最新的评论爬虫文件。

另外升级了方法,如题所示,单机单账号爬到了 100w+ 去重后的评论,以李文亮先生的最后一条微博为例子


爬到了 30w +去重后的根评论,60w+ 去重后的子评论,多达上百 M。

 
综上所述,如果想要获取任意一条微博的 10w+ 评论,可以去 2021 新版微博评论及其子评论爬虫发布 获取最新的爬虫文件直接使用。
如果想要获取例子中爬到的 100w+ 评论数据,或者需要抓取另外任意一条微博的 100w+ 评论数据,可以有以下几种方式。
  • 关注 2 年及以上的粉丝自动获取一次抓取机会。

  • 转发本篇文章至朋友圈,并集赞 【72-3*关注月数】 个。比如关注十个个月,则需要集赞 72-3*10 = 42 个。

  • 截止发稿,留言或转发朋友圈合计超过 5 次的可自动获取一次抓取机会。

确认自己获取了抓取资格的读者,并有抓取需求的,可以后台加微信,备注微博评论,进行抓取事宜。

浏览 51
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报