Ploomber快速构建数据管道

Ploomber 是构建数据管道的最快方式。使用你喜欢的编辑器（Jupyter、VSCode、PyCharm）进行交互式开发，并在不改变代码的情况下部署云（Kubernetes、Airflow、AWS Batch 和 SLURM）。只需一个命令就能将它们重构为模块化流水线。

# ML pipeline example
ploomber examples -n templates/ml-basic -o ml-basic
cd ml-basic

# install dependencies
pip install -r requirements.txt

# run pipeline
ploomber build

主要特点

快速开始

一个简单的 YAML API 可以快速上手，一个强大的 Python API 可以提供完全的灵活性。

更短的开发周期

自动缓存管道以前的结果，并且仅重新计算自上次执行以来已更改的任务。

随处部署

在单台机器上作为 shell 脚本运行，或者在Kubernetes、Airflow、AWS Batch或SLURM中分布式运行。

从旧版 notebooks 自动迁移

带上你的旧 monolithic notebooks，会自动将它们转换为可维护的模块化管道。