Toil跨平台工作流管理系统
Toil是一个可扩展的、高效的、跨平台的工作流管理系统,完全用Python编写。
主要特性:
安装方便,支持pip安装
支持常见的工作流语言(CWL)
完全支持draft-3 CWL规范,允许执行 CWL工作流
支持工作流描述语言(WDL),允许执行 WDL工作流
跨平台支持:任何平台开发测试,任何平台部署;支持 Amazon Web服务器、Microsoft Azure;OpenStack私有云;支持GridEngine、Apache Mesos、Parasol 、Individual multi、core machines等高性能计算环境。
简单快速易上手的API
完整的文件和流管理:
抽象的基本文件系统的细节,提供了一个统一的接口,不管环境的临时和持久的文件管理。支持原子文件传输和流接口,并提供用户数据的加密。极佳的扩展性,极好的性能体验
排错性能极好,支持任意时刻回滚
工作流可以静态地声明,但在任何现有的工作中,可以在执行过程中动态地添加新的工作,允许任意复杂的工作流程图。
支持数据库和服务:
例如,Apache Spark集群可以迅速的容易的集成在一个工作流程作为一种服务,并且可以设定开始和结束时间。
评论