YourHDFS封装了 Hadoop Client 的 API

联合创作 · 2023-09-19 02:12

一个封装了Hadoop Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。

支持以下功能:

1)自定义HDFS目录前缀

2)支持时间目录格式

3)支持按文件固定大小切分

4)支持一段时间内无IO操作文件自动关闭

5)支持中文

6)支持namenode自动探测实现failover.

7)API本身是线程安全的.

8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件。

HDFS的原理图:

浏览 7
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报