Datashim数据集处理框架
Datrashim 是一个 Kubernetes 框架,它支持在 pod 中轻松访问 S3 和 NFS 数据集,以协调每个数据集所需的持久卷声明和 ConfigMap 的配置。
Datashim 框架引入了 Dataset CRD,它是指向现有 S3 和 NFS 数据源的指针,包括将这些数据集映射到用户可以在其 pod 中引用的持久卷声明和 ConfigMap 的必要逻辑,让他们专注于工作负载开发,而不是配置/安装/调整数据访问。
框架以透明和声明的方式启用/加速 Kubernetes/Openshift 工作负载的数据访问,为不同的实体带来了好处:
- 数据科学家/工程师:专注于工作负载/实验开发,而不是配置/调整数据访问
- 存储提供商:由于框架可扩展而不会影响用户体验,因此提高了采用率
- 面向数据的框架:可以在 DLF 之上构建功能(缓存、调度),使用声明性方式访问/管理数据源
评论