GNE新闻网页正文通用抽取器
GNE 是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。
在论文中描述的正文提取基础上，还增加了标题、发布时间和文章作者的自动化探测与提取功能。
最后的输出效果如下图所示：
本项目取名为抽取器，而不是爬虫，是为了规避不必要的风险，因此，本项目的输入是 HTML，输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。
在线体验
如果你想先体验 GNE 的提取效果，那么你可以访问http://gne.kingname.info/。 一般情况下，你只需要把网页粘贴到最上面的多行文本框中，然后点提取按钮即可。通过附加更多的参数，可以让提取更精确。具体 参数的写法与作用，请参阅 API
使用环境
如果你想体验 GNE 的功能，请按照如下步骤进行：
安装 GNE
# 以下两种方案任选一种即可 # 使用 pip 安装 pip install --upgrade gne # 使用 pipenv 安装 pipenv install gne
使用 GNE
提取正文
>>> from gne import GeneralNewsExtractor >>> html = '''经过渲染的网页 HTML 代码''' >>> extractor = GeneralNewsExtractor() >>> result = extractor.extract(html, noise_node_list=['//div[@class="comment-list"]']) >>> print(result) {"title": "xxxx", "publish_time": "2019-09-10 11:12:13", "author": "yyy", "content": "zzzz", "images": ["/xxx.jpg", "/yyy.png"]}
更多使用说明，请参阅 GNE 的文档
提取列表页(测试版)
>>> from gne import ListPageExtractor >>> html = '''经过渲染的网页 HTML 代码''' >>> list_extractor = ListPageExtractor() >>> result = list_extractor.extract(html, feature='列表中任意元素的 XPath") >>> print(result)
运行截图
网易新闻
今日头条
新浪新闻
评论
GNE-JS新闻网页正文通用抽取器
GNE-JS是基于论文《基于文本及符号密度的网页正文提取方法》实现的新闻网页正文通用抽取器。在论文中描述的正文提取基础上，还增加了标题、发布时间和文章作者的自动化探测与提取功能。该项目启发自 GNE，
GNE-JS新闻网页正文通用抽取器
0
cx-extractor通用网页正文抽取
基于行块分布函数的通用网页正文抽取：线性时间、不建DOM树、与HTML标签无关对于Web信息检索来说，网页正文抽取是后续处理的关键。虽然使用正则表达式可以准确的抽取某一固定格式的页面，但面对形形色色的
cx-extractor通用网页正文抽取
0
ContentExtractor网页正文抽取算法
简介ContentExtractor是一个开源的网页正文抽取工具，用JAVA实现，具有非常高的抽取精度。项目地址转移项目已和WebCollector合并，当前项目为老版本ContentExtracto
ContentExtractor网页正文抽取算法
0
XsoupHTML抽取器
Xsoup是基于Jsoup开发的HTML抽取器，提供了XPath支持。相比另一个常用的基于XPath的HTML抽取器HtmlCleaner，Xsoup有较大的性能优势，解析时间和抽取时间都只有Html
XsoupHTML抽取器
0