Onyx分布式计算系统

联合创作 · 2023-10-01 06:46

Onyx 是什么？

Onyx 是一个无中心、支持云、容错的分布式计算系统

使用 Clojure 编写

支持批处理和流处理混合

提供信息模型用于描述和构建分布式工作流

竞争对手： Storm, Cascading, Map/Reduce, Dryad, Apache Sqoop, Twitter Crane 等等

用途？

实时的事件流处理

连续计算

ETL

在 MapReduce 进行数据转换

数据清理

数据摄入和存储媒介传输

浏览 19

点赞

收藏

分享

举报

评论

图片

表情

Go Glow分布式计算系统

Glow是使用Go编写的易用分布式计算系统，是HadoopMapReduce，Spark，Flint，Samza等等的替代品。Glow的目标是提供一个库，可以在并行线程或者分布式集群机器中进行更简单计

Go Glow分布式计算系统

Glow 是使用 Go 编写的易用分布式计算系统，是 Hadoop Map Reduce，Spark

Apache Storm分布式实时计算系统

ApacheStorm的前身是TwitterStorm平台，目前已经归于Apache基金会管辖。ApacheStorm是一个免费开源的分布式实时计算系统。简化了流数据的可靠处理，像Hadoop一样实现

Big Whale分布式计算任务调度系统

BigWhale巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内

Big Whale分布式计算任务调度系统

Big Whale 巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供 Spark、Fl

libGlass分布式计算框架

libGlass提供了一组可伸缩的组件用来执行分布式计算。应用程序在需要的情况下被当作是可重用的组件。该框架适合新的应用程序，同时对一些老应用也同样可用，而无需去改写。

Tiny分布式计算框架

其于职业介绍所、工头、工人、工作模型的分布式计算框架。职业介绍所有两种，一种是本地职业介绍所，一种是远程职业介绍所。顾名思义，本地职业介绍所就是在当前计算机上的，远程职业介绍所用于连接到远程职业介绍所

ParallelPython 分布式计算模块

Parallel Python是Python进行分布式计算的开源模块，能够将计算压力分布到多核CPU

ProActive分布式计算框架

ProActive Parallel Suite 是一个开源的用于并行处理、分布式和多核计算的中间件

ParallelPython 分布式计算模块

ParallelPython是Python进行分布式计算的开源模块，能够将计算压力分布到多核CPU或集群的多台计算机上，能够非常方便的在内网中搭建一个自组织的分布式计算平台。先从多核计算开始，普通的P

点赞

收藏

分享

举报