微博评论转发总是抓不全?你可能需要知道这些。
距离上一次配置教程更新:万字长文,2022 最全微博超级爬虫指南 已经过去了快 3 个月,天数更易,神器有变,期间后台有不少读者留言各种问题和错误,一部分是上次教程更新的遗漏,也有是微博接口变化,抽空梳理了下。问题主要集中在以下几个方面:
微博评论、转发总是抓取不全,显示 3 w条只抓到 300 条。
SSL Error retry times exceed?
如何在多版本 Python 下,切换到 Python 3.6.6 64 bit。
pycharm 里看不到 pyc。
json 配置错误。
ImportError: bad magic number 等运行错误。
...
as we all known,微信文章不好修改,以前的教程可能失效,关于微博爬虫,一切以 buyixiao's blog 为准,后续小的更新直接发布在博客上(大的还是会发布在公众号通知读者),本次各种问题的集中解答也更新于此:
https://buyixiao.github.io/blog/weibo-super-spider.html#%E9%81%87%E5%88%B0%E9%94%99%E8%AF%AF%E6%80%8E%E4%B9%88%E5%8A%9E
点击阅读原文即可直达教程,最好在电脑上浏览。遇到问题请优先查询此教程。
评论