robotstxt-rust基于 Rust 的 robots.txt 解析器

robotstxt-rust 用 Rust 实现了谷歌的 robots.txt 解析器 robotstxt。

特点如下：

• 原生Rust代码实现，不依赖任何第三方库


• 0 unsafe代码


• 保留所有原Google版的实现方式


• 与原Google版API完全一致


• 用Rust跑通了100%的Google C++测试用例

安装

[dependencies]

robotstxt = "0.2.0"

快速开始

use robotstxt::DefaultMatcher;



let mut matcher = DefaultMatcher::default();

let robots_body = "user-agent: FooBot\n\

                   disallow: /\n";

assert_eq!(false, matcher.one_agent_allowed_by_robots(robots_body, "FooBot", "https://foo.com/