Prefect工作流自动化管理系统

Prefect 是一个新的工作流管理系统，为现代基础设施而设计，由开源的 Prefect Core 工作流引擎驱动。用户将任务组织成流程，而 Prefect 则负责其他工作。Prefect 可编排现代数据堆栈，是构建、运行和监控大规模数据管道的最简单的方法。

使用灵活的 Python 框架轻松将任务组合到工作流中，然后通过 Prefect UI 或 API 部署、安排和监控它们的执行。

让 Prefect 负责调度、基础设施、错误处理、重试、日志、触发器、数据序列化、参数化、动态映射、缓存、并发等。

from prefect import task, Flow, Parameter


@task(log_stdout=True)
def say_hello(name):
    print("Hello, {}!".format(name))


with Flow("My First Flow") as flow:
    name = Parameter('name')
    say_hello(name)


flow.run(name='world') # "Hello, world!"
flow.run(name='Marvin') # "Hello, Marvin!"

特性：

• 自动化所有事情
• 本地测试，全球部署：工作流是在本地开发和测试的，然后部署到大规模执行

• 简单而强大：Prefect Cloud 由 GraphQL、Dask 和 Kubernetes 驱动