Datashim数据集处理框架

联合创作 · 2023-09-18 19:51

Datrashim 是一个 Kubernetes 框架,它支持在 pod 中轻松访问 S3 和 NFS 数据集,以协调每个数据集所需的持久卷声明和 ConfigMap 的配置。

Datashim 框架引入了 Dataset CRD,它是指向现有 S3 和 NFS 数据源的指针,包括将这些数据集映射到用户可以在其 pod 中引用的持久卷声明和 ConfigMap 的必要逻辑,让他们专注于工作负载开发,而不是配置/安装/调整数据访问。

框架以透明和声明的方式启用/加速 Kubernetes/Openshift 工作负载的数据访问,为不同的实体带来了好处:

  • 数据科学家/工程师:专注于工作负载/实验开发,而不是配置/调整数据访问
  • 存储提供商:由于框架可扩展而不会影响用户体验,因此提高了采用率
  • 面向数据的框架:可以在 DLF 之上构建功能(缓存、调度),使用声明性方式访问/管理数据源

 

浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报