Smart and Simple Web CrawlerWeb爬虫框架

联合创作 · 2023-09-29 13:06

Smart and Simple Web Crawler是一个Web爬虫框架。集成Lucene支持。该爬虫可以从单个链接或一个链接数组开始，提供两种遍历模式：最大迭代和最大深度。可以设置过滤器限制爬回来的链接，默认提供三个过滤器ServerFilter、BeginningPathFilter和 RegularExpressionFilter，这三个过滤器可用AND、OR和NOT联合。在解析过程或页面加载前后都可以加监听器。介绍内容来自Open-Open

下载地址：

https://crawler.dev.java.net/servlets/ProjectDocumentList?folderID=11459&expandFolder=11459&folderID=10340

浏览 2

点赞

收藏

分享

举报

评论

图片

表情

Smart Framework轻量级 Java Web 开发框架

Smart Framework 是一款轻量级 Java Web 开发框架，基于“核心 + 插件”的体

Smart Framework轻量级 Java Web 开发框架

SmartFramework是一款轻量级JavaWeb开发框架，基于“核心+插件”的体系架构。基于Servlet3.0规范，不依赖于Spring、Hibernate等开源框架。提供IOC、AOP、OR

Colly简单快速的 Web 爬虫框架

Colly 是一个采用 Go 语言编写的 Web 爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛

Colly简单快速的 Web 爬虫框架

Colly是一个采用Go语言编写的Web爬虫框架，旨在提供一个能够写任何爬虫/采集器/蜘蛛的简洁模板。通过Colly，你可以轻松从网站中提取结构化的数据，然后进行数据挖掘、处理或归档。项目特性清晰明了

ScrapplePython 爬虫框架

Scrapple是一个用来开发Web爬虫程序的Python框架，使用key-value配置文件。提供命令行接口来运行基于JSON的配置，同时也提供基于Web的接口来输入。

SeimiCrawlerJava爬虫框架

SeimiCrawler是一个敏捷的、独立部署的、支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCra

gcrawler爬虫框架

一个基于gevent的爬虫框架，最初的版本在一定程度上模仿了scrapy。

ScrapplePython 爬虫框架

Scrapple 是一个用来开发 Web 爬虫程序的 Python 框架，使用 key-value

crawler-javaJava 爬虫框架

一个简约灵活强大的Java爬虫框架。Features:1、代码简单易懂，可定制性强2、简单且易于使用

VW-CrawlerJava 爬虫框架

VW-Crawler背景自己一直对爬虫比较感兴趣，大学的毕业论文也是一个爬虫项目(爬教务处信息，然后

点赞

收藏

分享

举报