DPFSTB 级分布式持久性内存文件系统

联合创作 · 2023-10-01 07:24

“TB 级分布式持久性内存文件系统[简称:DPFS]V1.0”是一套面向大数据典型应用场景、支持可扩展网络服务的计算机系统软件,系统遵循 POSIX 语义规范,实现带宽线性可扩,系统故障可恢复,具备高吞吐低延迟等特性,能够有效支持高带宽视频播放服务中海量小文件的存取处理需求和读偏斜的高性能业务流。

 

图1 DPFS多节点分散式PM架构

DPFS节点分散式PM架构,其专为配备了持久内存和RDMA网络的集群而设计,使用户在高性能设备下体验高效文件服务:

  • 通过将文件数据放在应用程序端的持久内存中,充分利用数据的局部性,以提高整体性能并减轻网络流量负载,DPFS针对不同的通信场景,充分利用单边和双边RDMA原语实现高效可扩展性。
  • DPFS设计了RDMA请求批处理和RPC分类模式,在文件传输期间实现高吞吐量。将RPC请求分为同步和异步类型,降低网络开销。
  • 实现低开销文件传输,利用文件日志来实现差异文件更新以同步陈旧文件。在文件更新和节点恢复期间,本地文件通过单侧RDMA读取以差分方式同步到远程节点的最新版本上,从而显著提升文件传输效率。
  • 构建轻量级一致性机制,没有中央元数据服务器来仲裁并发文件更新,使用锁的方式来授权文件写入权限,通过RDMA使用Compare-And-Swap(CAS)操作来交换token,从而最大程度地减少相关开销。
  • DPFS系统使用方法

DPFS使用环境包含但不限于以下环境(注:该配置为推荐配置):

硬件 参数
CPU Intel Xeon 6240M
DRAM 256GB DRAM
持久内存(PM)                    128GB Intel Optane DIMM                     
RDMA网卡 Mellanox 5
操作系统 CentOS Linux release 7.9.2009
内核版本 Linux 4.13.0+

安装流程见用户操作文档链接:https://gitee.com/ShanghaiChina/dpfs/blob/master/README.md

下图为系统挂载及部分简单操作:

图2 系统挂载及操作

  • 系统性能介绍

DPFS分布式文件系统的8 节点读,写带宽可达到 80GB/s,64GB/s,其元数据吞吐率达到 100 万 IOPS,高效承载高清视频网络电视服务应用。(注:该性能为环境配置表格对应软硬件配置所得系统性能)。

图3 DPFS读性能

图4 DPFS写性能

浏览 10
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报