JoBo下载整个 Web 站点
JoBo 是一个用于下载整个 Web 站点的简单工具。它本质是一个 Web Spider。与其它下载工具相比较它的主要优势是能够自动填充 form(如:自动登录)和使用cookies来处理session。JoBo还有灵活的 下载规则(如:通过网页的URL,大小,MIME类型等)来限制下载。
特性:
- 命令行和图形版本(但是命令行版本需要 重大更新,当前的GUI版本具有更多功能)
- 从给定的起始文档开始递归搜索所有文档
- 支持<A> <AREA> <IMG> <FRAME>标记(具有容错功能)
- 支持机器人排除协议
- 用户控制的最大搜索深度
- 可以定义用户代理名称
- 支持引荐来源标头
- 支持自动表单处理(JoBo可以使用预定义的值填充字段)
- Cookie支持
- XML配置
- 可以限制使用的带宽
- 根据mime类型和文档大小允许/拒绝下载(例如,忽略所有图像/ *文件)
- 通过正则表达式允许/拒绝下载(例如,不要下载/ cgi-bin)
- 可以将绝对链接转换为相对链接
- 仅下载比给定年龄更新的文件
- resume job
评论