免 cookie 微博话题爬虫发布
月小水长
共 962字,需浏览 2分钟
·
2021-09-08 08:12
点击上方 月小水长 并 设为星标,第一时间接收干货推送
大家好,我是刚下班的并更新了微博话题爬虫的月小水长。
首先是今天的主人公:不需要复制 cookie 的话题爬虫,它是针对 weibo.cn 这个站点的,只需要改动目标话题,就可以开始爬取了,代码已经放到 WeiboSuperSpider 的 Github 仓库了。在功能独立版文件夹下,取名 WeiboCnTopicSpiderWithoutCookie。
https://github.com/Python3Spiders/WeiboSuperSpider
或者点击文末阅读原文即可直达源代码。
com 话题爬虫 BugFix
weibo.cn 的好处是不需要 cookie,测试发现同一个话题 cn 站数据更丰富些;
但是缺点也很明显,不支持高级搜索;
weibo.com 的好处是筛选条件更加丰富,时间段颗粒度更细,最细达到了以小时为单位;
缺点是需要经常手动更换 cookie;
评论