JSpiderJava网页爬虫

联合创作 · 2023-09-29 13:04

JSpider 是一个用 Java 实现的 WebSpider,JSpider 的执行格式如下:

jspider [URL] [ConfigName]

URL 一定要加上协议名称,如:http://,否则会报错。如果省掉 ConfigName,则采用默认配置。

JSpider 的行为是由配置文件具体配置的,比如采用什么插件,结果存储方式等等都在 conf\[ConfigName]\目录下设置。JSpider 默认的配置种类 很少,用途也不大。但是 JSpider 非常容易扩展,可以利用它开发强大的网页抓取与数据分析工具。要做到这些,需要对 JSpider 的原理有深入的了 解,然后根据自己的需求开发插件,撰写配置文件。

浏览 8
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报