SimpleDistributedPlatform纯 Java 的可视化分布式计算平台
一个简单却实用的分布式计算平台,通过提交任务 jar 包来执行分布式任务。
NameNode 和 DataNode 这两个名字是直接引用的 Hadoop 里面的概念,但是更加简化:
NameNode:用于分发可执行 jar 包,收集中间计算结果,合并汇总最终计算结果。
DataNode:用于接收可执行 jar 包,执行指定的任务方法,上报计算(中间)结果。
MyZooKeeper:用于注册与查找 MQ 服务。
NameNode 和 DataNode 通过 MQ 进行异步通信。
运行原理:
DataNode 上线时,向 MQ 发送一条 DataNode 上线的消息,NameNode 监听该消息,并在 NameNode 本地维护一个 List<DataNode> 的列表。 当 NameNode 下发可执行 jar 包时,NameNode 依次向本地的 List<DataNode> 每条记录发送一条可执行任务的消息,消息内包含 jar 包的url地址。每个 DataNode 收到消息后执行可执行 jar 包的指定方法,并上报中间数据。当每个 DataNode 执行完毕后,要执行一个 end() 方法,代表该 DataNode 已经执行完毕了。当 Namenode 收到了所有的 DataNode 的自己执行完毕的消息后,开始对所有的中间结果计算合并,最终算出汇总的值。
评论
S4Yahoo的分布式流计算平台
S4是Yahoo!发布的一个开源通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据(continuousunboundedstreamsofdata)的
S4Yahoo的分布式流计算平台
0
OhMyScheduler分布式调度平台&计算框架
OhMyScheduler是基于Akka架构的新一代分布式调度与计算框架,能让您轻松完成作业的调度与
OhMyScheduler分布式调度平台&计算框架
0
Baratine分布式 Java 服务平台
Baratine是新的分布式,基于内存的Java服务平台,可以构建高性能的Web服务,在同一个JVM中结合数据和逻辑。在Baratine中,数据和服务是一体的,服务拥有它自己的数据:数据不属于数据库数
Baratine分布式 Java 服务平台
0
OhMyScheduler分布式调度平台&计算框架
OhMyScheduler是基于Akka架构的新一代分布式调度与计算框架,能让您轻松完成作业的调度与繁杂任务的分布式计算。项目介绍产品特性OhMyScheduler是基于Akka架构的一款分布式调度与
OhMyScheduler分布式调度平台&计算框架
0
Castle-Platform分布式模块化 Java 开发平台
Castle-Platform是一个分布式、模块化的开发平台,目标是打造高性能、高扩展性的开发平台,完成通用的管理功能。采用了后台管理集中部署,会员业务系统可分离部署等特点,可独立区分后台管理系统、前
Castle-Platform分布式模块化 Java 开发平台
0
tinympi4j微型 java 分布式离线计算框架
tinympi4j是一款微型的java分布式离线计算框架,实现原理如图:特性简单直观,没有任何学习难度slave支持多个任务并发/并行执行使用HTTP协议通信场景:找素数/grep/wordcount
tinympi4j微型 java 分布式离线计算框架
0