goodcrawler网络爬虫

goodcrawler(GC) 网络爬虫

GC是一个垂直领域的爬虫，同时也是一个拆箱即用的搜索引擎。

GC基于httpclient、htmlunit、jsoup、elasticsearch。

GC的特点：

1、具有DSL特性的模板。

2、分布式、可扩展。

3、辛亏有htmlunit，它能较好地支持javascript。

5、合理的插件设计，方便功能扩充。

6、天然继承es，本身即是一个完整的搜索引擎。

下载独立运行版