JoBo下载整个 Web 站点
JoBo 是一个用于下载整个 Web 站点的简单工具。它本质是一个 Web Spider。与其它下载工具相比较它的主要优势是能够自动填充 form(如:自动登录)和使用cookies来处理session。JoBo还有灵活的 下载规则(如:通过网页的URL,大小,MIME类型等)来限制下载。
特性:
- 命令行和图形版本(但是命令行版本需要 重大更新,当前的GUI版本具有更多功能)
- 从给定的起始文档开始递归搜索所有文档
- 支持<A> <AREA> <IMG> <FRAME>标记(具有容错功能)
- 支持机器人排除协议
- 用户控制的最大搜索深度
- 可以定义用户代理名称
- 支持引荐来源标头
- 支持自动表单处理(JoBo可以使用预定义的值填充字段)
- Cookie支持
- XML配置
- 可以限制使用的带宽
- 根据mime类型和文档大小允许/拒绝下载(例如,忽略所有图像/ *文件)
- 通过正则表达式允许/拒绝下载(例如,不要下载/ cgi-bin)
- 可以将绝对链接转换为相对链接
- 仅下载比给定年龄更新的文件
- resume job
评论
WebLechWeb 站点下载与镜像工具
WebLech是一个功能强大的Web站点下载与镜像工具。它支持下载网站所需的许多功能,并尽可能地模拟标准的网络浏览器行为。WebLech是多线程的,并将具有一个GUI控制台。
WebLechWeb 站点下载与镜像工具
0
TorrentWatch-X基于Web的BT下载
TorrentWatch-X是一个采用PHP开发的基于Web的自动BitTorrent下载软件。这是torrentwatch项目的一个分支,这个项目似乎已经死了。它的意思是运行在Linux和MacOS
TorrentWatch-X基于Web的BT下载
0
前端从web服务器或者CDN下载资源
前段时间听到前端同学说前端拿到资源的 CDN 链接后可以直接从 CDN 下载资源,不需要经过后端,感觉很神奇,但是一直不明白是怎么实现的,前两天整理了下关于" CDN 和对象存储的知识 "(原文见此文参考接最后一条),今...
前端Sharing
0
netlify-cms静态站点生成器
静态站点生成器。为非技术人员提供一种简单的方法,来编辑和添加内容至静态站点。运行:NetlifyCMS是一个单页面的应用程序。它提供了一个干净的用户界面来编辑存储在Git仓库中的内容。可以设置一个YA
netlify-cms静态站点生成器
0