Gleam-Go分布式任务执行系统
Gleam 是一个高性能和高效的分布式执行系统。纯 Go 编写,可独立运行,也可分布式运行。
高性能
-
纯 Go 编写的 mapper 和 reducer 具有高性能和并发性
-
LuaJIT 的性能,可与 C,Java,Go 相媲美。 它可流式处理数据,而不用在 Go 和 Lua 之间的上下文切换
-
数据通过内存时,可选择是否流入磁盘
-
多个 map/reduce 步骤被合并在一起以获得更好的性能
内存高效
-
Gleam 不会发生常见的 GC 问题。 每个执行器在单独的 OS 进程中运行。 存储器由 OS 管理。 一台机器可以托管多个执行器
-
Gleam 主服务器和代理服务器是内存高效,只消耗大约 10 MB 内存
-
Gleam 尝试根据数据大小提示自动调整所需的内存大小,避免尝试法导致的错误,及手动调整工作
灵活性
-
Gleam 流可以独立运行,也可分布式运行
-
在记忆模式或 OnDisk 模式下可调
易于定制
-
Go 代码比 Scala,Java,C ++ 更易读
-
可选的 LuaJIT FFI 库可以轻松调用任何 C 函数,以获得更高的性能或使用任何现有的 C 库
-
(future)使用 Lua 编写的 UDF 编写 SQL
评论
cobweb分布式任务执行系统
a)基础功能cobweb的基本功能,是在一台Server上分发任务,在其它多台服务器上部署Client程序,并执行相应的任务。任务函数代码编辑后在Server上发布,会自动分发到各台Client服务器
cobweb分布式任务执行系统
0
cronsun分布式任务系统
cronsun 是一个分布式任务系统,单个结点和 *nix 机器上的 crontab 近似。支持界面管理机器上的任务,支持任务失败邮件提醒,安装简单,使用方便,是替换 crontab 一个不错的选择。
cronsun分布式任务系统
0
hera分布式任务调度系统
hera分布式任务调度系统是根据前阿里开源调度系统(zeus)进行的二次开发。架构hera系统只是负责调度以及辅助的系统,具体的计算还是要落在hadoop、hive、yarn、spark等集群中去。所
hera分布式任务调度系统
0
Juice分布式任务调度云系统
Juice是沪江(hujiang)学习系统项目组(LMS)所开发的一套基于MesosFramework的分布式任务调度云系统,基于此系统,可以实现任何作业型任务的调度工作。耗时计算型任务处理在沪江一直
Juice分布式任务调度云系统
0
lite-flow分布式任务流调度系统
liteflow是一个基于DAG来实现的分布式任务流调度系统,较azkaban等调度系统,liteflow增加了一些自己的特性:1.实现任务在任务流间共享2.任务/任务流的可视化配置3.一键修复任务/
lite-flow分布式任务流调度系统
0
Big Whale分布式计算任务调度系统
BigWhale巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统,提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控,并具有Yarn应用管理、重复应用检测、大内
Big Whale分布式计算任务调度系统
0