Elephant-birdLZO、Hadoop 缓存相关协议、Pig、Hive 和 HBase 代码的集合

联合创作 · 2023-09-29 08:23

Elephant Bird 是 Twitter 上 LZO、Hadoop 缓存相关协议、Pig、Hive 和 HBase 代码的集合。(library of LZO, Thrift, and/or Protocol Buffer-related Hadoop InputFormats, OutputFormats, Writables, Pig LoadFuncs, Hive SerDe, HBase miscellanea, etc.)

Elephant Bird 提供 hadoop 输入输出格式和在 Pig 平台上创建搜索 lucene 全文索引的加载/存储功能。

用途:

  • 能够在 Pig 平台上实施计数功能

  • 协议缓冲实用工具

  • Thrift utilities

  • 能实现协议缓存和 Thrift 信息到 Pig 消息(Pig tuples)的转换 

  • 能够实现从 Thrift 到协议缓存的DynamicMessage 转换

  • 能读写基于数据块协议的缓存格式 (seeProtobufBlockWriter)

浏览 14
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报