搜索

GuozhongCrawler开源爬虫框架

0粉丝
guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全面向业
知识
简介
guozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。模块化设计完全面向业务提供接口，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试，定制执行js、自定义coo... 更多
其它信息
地区
国产
开发语言
Java
开源组织
无
所属分类
应用工具、 网络爬虫
授权协议
EPL
操作系统
跨平台
收录时间
2023-09-29
软件类型
开源软件
适用人群
未知

时光轴

里程碑1
LOG0
2023
2023-09
轻识收录
打卡
我要打卡
我要打卡
评价
0.0（满分 10 分）0 个评分
什么是点评分
图片
表情
全部评价( 0)
推荐率 100%
推荐
WebPasser开源爬虫框架
WebPasser是一款可配置的开源爬虫框架，提供爬虫控制台管理界面，通过配置解析各类网页内容，无需写一句java代码即可抽取所需数据。1.包含强大的页面解析引擎，提供jsoup、xpath、正则表达
CreeperGo 版本开源爬虫框架
Creeper是一个基于简单脚本（CreeperScript，扩展名.crs）的下一代开源爬虫框架。需要配合一门正经的编程语言（只开发了Go版本）来使用，先在CreeperScript内定义爬取规则，
go_spiderGo爬虫框架
 本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。本项目将爬虫的各个功能流程区分成Spider模块（主控
go_spiderGo爬虫框架
 本项目基于golang开发，是一个开放的垂直领域的爬虫框架，框架中将各个功能模块区分开，方便使用者
ScrapyWeb 爬虫框架
Scrapy是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～示例代码：$pip 
crawler-javaJava 爬虫框架
一个简约灵活强大的Java爬虫框架。Features:1、代码简单易懂，可定制性强2、简单且易于使用的api3、支持文件下载、分块抓取4、请求和相应支持的内容和选项比较丰富、每个请求可定制性强5、支持
ScrapyWeb 爬虫框架
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定
VW-CrawlerJava 爬虫框架
VW-Crawler背景自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后做了个Android版教务管理系统，还获得了优秀毕业设计的称号)，自那以后遇到自己感兴趣的网站就会去
gcrawler爬虫框架
一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。
WebCollector基于 Java 的开源网络爬虫框架
爬虫简介：WebCollector是一个无须配置、便于二次开发的 Java 爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。WebCollector-Hadoop是We