LakeFS类似 Git 的文件对象存储

联合创作 · 2023-10-01 05:01

LakeFS 是一种开源工具,可将你的对象存储转换为类似 Git 的存储库;它使你能够以管理代码的方式管理数据湖。

使用 LakeFS,你可以构建可重复的、atomic 和版本化的数据湖操作 - 从复杂的 ETL 作业到数据科学和分析。

LakeFS 支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage 作为其底层存储服务。它与 S3 的 API 兼容,并与所有现代数据框架(如 Spark、Hive、AWS Athena、Presto 等)无缝协作。

特性:

  • 百万亿规模的版本控制
  • 类似于 Git 的操作:branch、commit、merge、revert
  • Zero copy branching 用于 frictionless 实验
  • 数据和代码的完全可重复性

  • 用于 data CI/CD 的 Pre-commit/merge hooks

  • 即时恢复对数据的修改

浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报