Sparser开源数据解析引擎
Sparser 是一个用于解析原始数据的解析引擎,由斯坦福大学开源,用于非结构化和半结构化的数据格式,例如 JSON、Avro 和 Parquet。
特性
用原始过滤器过滤后再解析,丢弃那些不需要用假阳性率解析的记录
用高效的优化器选择级联的原始过滤器
提供超过现有解析器 22 倍的加速度
Sparser 的独特之处在于它可利用 SIMD 加速过滤函数在解析之前过滤数据。在 JSON、Avro 和 Parquet 数据上,Sparser 的速度比最先进的解析器最多快 22 倍,并且能将 Apache Spark 中的端对端的查询运行时间最多提高 9 倍。
Sparser与现有技术的比较
评论
OCGumboHTML5解析引擎
OCGumbo是一个Objective-C写的HTML5解析引擎,基于Googlegumbo开源项目。OCGumbo除了基础的解析功能外,最大的特色是对增加了类似JQuery的查询功能。示例代码:OC
OCGumboHTML5解析引擎
0
xhtml-enginexhtml 字符串解析引擎
基于node.js开发的xhtml字符串解析引擎。本项目是一个处理HTML模板的引擎,你可以用类似jQuery的方式去操作一段字符串模板,比如Vue-loader根据template生成render函
xhtml-enginexhtml 字符串解析引擎
0
SimpleEL表达式解析引擎
SimpleEL是一个表达式解析引擎。它将表达式解析分成四个部分:预处理、编译、缓存和执行。这四个步骤任意一部分都可以替换,类似设计模式中的TemplateMethod。缺省的实现是:将表达式处理成J
SimpleEL表达式解析引擎
0
quickdbKey-Value数据引擎
quickdb是一款基于内存文件系统的HashTable数据结构的Key-Value数据引擎,什么是内存文件系统了?就是操作系统把系统内存划出一部分当作硬盘使用。你可以像操作磁盘那样的操作内存。但效率
quickdbKey-Value数据引擎
0