YourHDFS封装了 Hadoop Client 的 API

联合创作 · 2023-09-19 02:12

一个封装了Hadoop Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。


支持以下功能:


1)自定义HDFS目录前缀


2)支持时间目录格式


3)支持按文件固定大小切分


4)支持一段时间内无IO操作文件自动关闭


5)支持中文


6)支持namenode自动探测实现failover.


7)API本身是线程安全的.


8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件。


HDFS的原理图:




浏览 23
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报