WebSPHINX网络爬虫工具联合创作 · 2023-09-29 12:59WebSPHINX (Website-Specific Processors for HTML INformation eXtraction)是一个用于网络爬虫的 Java 类库和互动开发环境。网络爬虫是一个自动浏览和处理网页的程序。 WebSPHINX 由两部分组成：爬虫工作平台和WebSPHINX类库。 浏览 10点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报 评论图片表情视频评价全部评论推荐 kamike.collect网络爬虫AnotherSimpleCrawler又一个网络爬虫，可以支持代理服务器的翻墙爬取。1.数据存在mysql当中。2.使用时，先修改web-inf/config.ini的数据链接相关信息，主要是数据库goodcrawler网络爬虫goodcrawler(GC) 网络爬虫GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。GDenseSpider网络爬虫本项目fork项目go_spider，github：https://github.com/hu17889/go_spider ，因此项目架构的部分文档可以参考此项目。同时项目架构、部分思路参考了pytgoodcrawler网络爬虫goodcrawler(GC)网络爬虫GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。GC基于httpclient、htmlunit、jsoup、elasticsearch。GC的特点：1、kamike.collect网络爬虫Another Simple Crawler 又一个网络爬虫，可以支持代理服务器的翻墙爬取。1.数据ItSucks网络爬虫ItSucks 是一个 java web spider（web 机器人，爬虫）开源项目。支持通过下载larbin网络爬虫/网络蜘蛛larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人SébastienAilleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。LarbiDenseSpider网络爬虫本项目 fork 项目go_spider，github：https://github.com/hu1ItSucks网络爬虫ItSucks是一个javawebspider（web机器人，爬虫）开源项目。支持通过下载模板和正则表达式来定义下载规则。提供一个swingGUI操作界面。网络爬虫（一）数据科学与人工智能0点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报
