Hadoop-PDL基于组合设计工具 PBD 的数据布局 PDL

联合创作 · 2023-09-18 19:59

该项目提出了一种有效的基于组合设计工具 PBD (Pairwise Block Design) 的数据布局 PDL,以加快混合 EC 分布式存储系统中单节点故障的数据修复。

由于减少了机架间的通信量,并在修复过程中实现了读写 I/O 的负载平衡,因此它实现了几乎均匀的数据分布以及更高的修复性能。我们设计了数据的放置策略以及相应的故障恢复方案,并且在 Hadoop 3.1.1 中实现了它们。

浏览 2
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报