Krabber网页抽取工具联合创作 · 2023-09-21 23:44Krabber是kVitrail的网页抽取工具。 Krabber的设计目标是提供一个可以为Java应用调用的、可以执行网页上的JavaScript代码、并返回JavaScript代码执行后的网页的HTML代码的网页抽取工具。浏览 7点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报 评论图片表情视频评价全部评论推荐 GoldDataSpider网页数据抽取工具GoldDataSpider 是用于抓取网页和抽取数据的工具。其核心代码是从金色数据抓取融合平台分离GoldDataSpider网页数据抽取工具GoldDataSpider是用于抓取网页和抽取数据的工具。其核心代码是从金色数据抓取融合平台分离而来。该项目提供抓取和抽取来自网页数据，不仅可以抽取网页内的内容，还能抽取URL、HTTP报头、CooHtmlExtractor网页信息抽取组件HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫cx-extractor通用网页正文抽取基于行块分布函数的通用网页正文抽取：线性时间、不建DOM树、与HTML标签无关对于Web信息检索来说，网页正文抽取是后续处理的关键。虽然使用正则表达式可以准确的抽取某一固定格式的页面，但面对形形色色的HtmlExtractor网页信息抽取组件HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件，本身并不包含爬虫功能，但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。HtmlExtractor是为大ContentExtractor网页正文抽取算法简介ContentExtractor是一个开源的网页正文抽取工具，用JAVA实现，具有非常高的抽取精度。项目地址转移项目已和WebCollector合并，当前项目为老版本ContentExtractoWandora数据抽取工具Wandora是一个通用的数据提取，管理和发布应用程序，基于主题地图和基于Java的。Wandora有一个图形用户界面，知识层次的介绍，几个数据存储选择，丰富的数据提取，进口和出口能力，以及一个嵌入式Wandora数据抽取工具Wandora是一个通用的数据提取，管理和发布应用程序，基于主题地图和基于Java的。 WandorCrunchETL 和特性抽取工具Crunch是一个用Go语言开发的基于Hadoop的ETL和特性抽取工具，特点是速度快。GNE新闻网页正文通用抽取器GNE是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。在论文中描述的正文提取基础上，还增加了标题、发布时间和文章作者的自动化探测与提取功能。最后的输出效果如下图所示：本点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报
