xxl-crawler分布式爬虫框架认领

0粉丝

分布式爬虫框架XXL-CRAWLERXXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；特性1、简洁：API直观简洁，可快速上手；2、轻量级：底层实现仅强依赖jsoup，简洁高效；3、模块化：模块化的结构设计，可轻松扩

简介

分布式爬虫框架XXL-CRAWLERXXL-CRAWLER 是一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；特性1、简洁：API直观简洁，可快速上手；2、轻量级：底层实现仅强依赖jsoup，简洁高效；3、模块化：模块化的结构设计，可轻松扩... 更多

技术信息

授权协议

GPL

开发语言

Java

操作系统

跨平台

软件类型

开源软件

所属分类

应用工具、网络爬虫

开源组织

无

地区

国产

适用人群

未知

开源地址

https://www.proginn.com/w/1487051

时光轴

里程碑1

LOG2

2023

09-29

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

Cola分布式爬虫框架

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。依赖首先，确保Python版本为2.6或者2.7（未来会支持

Cola分布式爬虫框架

Cola是一个分布式的爬虫框架，用户只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分

CrawlerDemon分布式爬虫

CrawlerDemon 是垂直应用爬虫，基于akka+okHttp+spring+jsoup ，配

CrawlerDemon分布式爬虫

CrawlerDemon是垂直应用爬虫，基于akka+okHttp+spring+jsoup，配置简单，上手容易，支持配置动态参数，动态代理，http自动重试。特点基于akka高性能分布式框架使用sp

go_spiderGo爬虫框架

本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。本项目将爬虫的各个功能流程区分成Spider模块（主控

go_spiderGo爬虫框架

本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者

ScrapyWeb 爬虫框架

Scrapy是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～示例代码：$pip

crawler-javaJava 爬虫框架

一个简约灵活强大的Java爬虫框架。Features:1、代码简单易懂，可定制性强2、简单且易于使用的api3、支持文件下载、分块抓取4、请求和相应支持的内容和选项比较丰富、每个请求可定制性强5、支持

ScrapyWeb 爬虫框架

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定

VW-CrawlerJava 爬虫框架

VW-Crawler背景自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的网站就会去