FEAPDERPython 爬虫框架

feapder[ˈfiːpdə]是一款上手简单，功能强大的 Python 爬虫框架，内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。命名源于 fast-easy-air-pro-spider 缩写。

支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统 feaplat 为其提供方便的部署及调度。

环境要求：

• Python 3.6.0+
• Works on Linux, Windows, macOS

安装

From PyPi:

精简版

pip install feapderCopy to clipboardErrorCopied

浏览器渲染版：

pip install "feapder[render]"Copy to clipboardErrorCopied

完整版：

pip install "feapder[all]"Copy to clipboardErrorCopied

三个版本区别：

1. 精简版：不支持浏览器渲染、不支持基于内存去重、不支持入库mongo
2. 浏览器渲染版：不支持基于内存去重、不支持入库mongo
3. 完整版：支持所有功能

完整版可能会安装出错，若安装出错，参考安装问题。