robotstxtrobots.txt 解析器认领

0粉丝

谷歌开源的 robots.txt 解析器。Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准，给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准，作为这个努力的一部分

简介

谷歌开源的 robots.txt 解析器。Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准，给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准，作为这个努力的一部分... 更多

技术信息

授权协议

Apache

开发语言

C/C++ Python

操作系统

跨平台

软件类型

开源软件

所属分类

程序开发、常用工具包

开源组织

Google

地区

不详

适用人群

未知

开源地址

https://www.proginn.com/w/1500032

时光轴

里程碑1

LOG2

2023

09-28

轻识收录

打卡

评价

0.0（满分 10 分）0 个评分

什么是点评分

图片

表情

全部评价( 0)

推荐率 100%

推荐

TouchJSONJSON 解析器

TouchJSON是Objective-C的JSON解析器，支持OS X和 iOS设备。基于JonathanWight的CocoaJSON http://toxicsoftware.com/cocoa

HtmlAgilityPackhtml解析器

HtmlAgilityPack是CodePlex上的一个开源项目。它提供了标准的DOMAPI和XPath导航--即使HTML不是适当的格式！示例代码：HtmlDocumentdoc=newHtmlDo

PC-BASICGW-BASIC 解析器

PC-BASIC是一个GW-BASIC文件解析器，可以运行和转换ASCII，字节码和“protected”（加密）的.BAS文件。它继承了MicrosoftBinaryFormat（MBF）的浮点算法

pyPEGPEG解析器

pyPEG是一个快速、简单的Python的PEG解析器。输出结果是Python的数据结构、或者是XML。PEG意思是ParsingExpressionGrammar，有点类似正则表达式.

YAJLJSON 解析器

YAJL(YetAnotherJSONLibrary) 是一个小型事件驱动(SAX风格)的JSON 解析器，采用ANSIC 编写。

SPJsonJSON解析器

SPJson是一个简单的面向数据流的JSON解析器，支持pull模式和DOM模式的XML解析。

XmlPullXML解析器

XmlPull和Sax类似，是基于流（stream）操作文件，然后根据节点事件回调开发者编写的处理程

JisonJavaScript解析器

JavaScript解析器，Coffee就是使用Jison解析的。Jison将一个上下文无关语法作为输入，输出对应的JavaScript代码，类似Yacc。

TinyXmlXML解析器

TinyXML是目前非常流行的一款基于DOM模型的XML解析器，简单易用且小巧玲珑，非常适合存储简单数据，配置文件，对象序列化等数据量不是很大的操作。支持对XML的读取和修改，不直接支持XPath，需

NanoXMLXML 解析器

NanoXML是一个能在CLDC环境(手机环境)下运行的开放源代码非确认性(不做验证工作直接进行解析)的XML分析器。Nanoxml是一步解析器（非常小6KB的XML解析器)，一次就把文档解析完并以一