JoBo下载整个 Web 站点

联合创作 · 2023-09-29 13:01

JoBo 是一个用于下载整个 Web 站点的简单工具。它本质是一个 Web Spider。与其它下载工具相比较它的主要优势是能够自动填充 form(如:自动登录)和使用cookies来处理session。JoBo还有灵活的 下载规则(如:通过网页的URL,大小,MIME类型等)来限制下载。

特性:

  • 命令行和图形版本(但是命令行版本需要 重大更新,当前的GUI版本具有更多功能)
  • 从给定的起始文档开始递归搜索所有文档
  • 支持<A> <AREA> <IMG> <FRAME>标记(具有容错功能)
  • 支持机器人排除协议
  • 用户控制的最大搜索深度
  • 可以定义用户代理名称
  • 支持引荐来源标头
  • 支持自动表单处理(JoBo可以使用预定义的值填充字段)
  • Cookie支持
  • XML配置
  • 可以限制使用的带宽
  • 根据mime类型和文档大小允许/拒绝下载(例如,忽略所有图像/ *文件)
  • 通过正则表达式允许/拒绝下载(例如,不要下载/ cgi-bin)
  • 可以将绝对链接转换为相对链接
  • 仅下载比给定年龄更新的文件
  • resume job
浏览 7
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报