RainRust 实现的分布式计算框架
Rain 是一个 Rust 实现的轻巧且强大的分布式计算框架,适用于处理大规模的基于任务的管道。
Rain 旨在降低分布式计算世界的入门门槛,目的是提供一个轻巧而强大的分布式框架,该框架具有直观的 Python API、简单的安装和部署以及顶层的深入监控。
功能特性
-
数据流编程:Rain 中的计算被定义为任务的流程图(flow graph)。任务可以是内置函数,Python/C++/Rust 代码,也可以是外部应用程序,短而轻或长时间运行且繁重。该系统旨在将任何代码集成到管道中,合理分配其资源需求,并处理非常大的任务图(task graphs),通常是数十万个任务。
-
易于使用:Rain 设计之初就考虑到要易于部署,从单节点部署到大规模分布式系统和数千个核心的云。
-
Rust 核心:Python/C++/Rust API。为了安全和高效,Rain 采用 Rust 编写,并为 Rain 核心基础架构提供了高级 Python API,甚至支持开箱即用的 Python 任务。Rain 还提供了用 C++ 和 Rust 编写自己的任务的库。
-
监控:支持在线和 postmortem 监控。
评论
DPark分布式计算框架
DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark完成,
DPark分布式计算框架
0
Tiny分布式计算框架
其于职业介绍所、工头、工人、工作模型的分布式计算框架。职业介绍所有两种,一种是本地职业介绍所,一种是远程职业介绍所。顾名思义,本地职业介绍所就是在当前计算机上的,远程职业介绍所用于连接到远程职业介绍所
Tiny分布式计算框架
0
libGlass分布式计算框架
libGlass提供了一组可伸缩的组件用来执行分布式计算。应用程序在需要的情况下被当作是可重用的组件。该框架适合新的应用程序,同时对一些老应用也同样可用,而无需去改写。
libGlass分布式计算框架
0