Cola分布式爬虫框架

0获赞0粉丝0关注
Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。依赖首先,
简介
Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。依赖首先,确保Python版本为2.6或者2.7(未来会支持3+)。由于Cola配置文件使用的yaml,所以Cola只依赖于pyyaml,安装easy_inst... 更多
其它信息
地区
国产
开发语言
Python
开源组织
所属分类
应用工具、 网络爬虫
授权协议
Apache
操作系统
跨平台
收录时间
2023-09-29
软件类型
开源软件
适用人群
未知

时光轴

里程碑1
LOG0
2023
2023-09
轻识收录
评价
0.0(满分 10 分)0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐