Dask多任务并行编程与任务调度

Dask 是一个用于分析计算的灵活的并行计算库。

Dask 由两个组件组成：

• 动态任务调度优化计算。 这类似于 Airflow、Luigi、Celery 或 Make，但是针对交互式计算工作负载进行了优化。

• “大数据”集合，如并行数组，数据框架和列表，将常见接口（如 NumPy、Pandas 或 Python 迭代器）扩展到 larger-than-memory 或分布式环境。 这些并行集合在动态任务调度程序之上运行。