SpiderAdmin爬虫项目可视化管理工具
SpiderAdmin,一个集爬虫 Scrapy+Scrapyd 爬虫项目查看 和 爬虫任务定时调度的可视化管理工具。
功能介绍
1. 对 Scrapyd 接口进行可视化封装,对 Scrapy 爬虫项目进行删除 和 查看
2. 并没有实现修改,添加功能,部署推荐使用
$ scrapyd-deploy -a
3. 对爬虫设置定时任务,支持 apscheduler 的 3 种方式和随机延时,共计 4 种方式
- 单次运行 date
- 周期运行 corn
- 间隔运行 interval
- 随机运行 random
4. 基于 Flask-BasicAuth 做了简单的权限校验
启动运行
$ pip3 install -U spideradmin
$ spideradmin init # 初始化,可选配置,也可以使用默认配置
$ spideradmin # 启动服务
界面截图
评论