tinympi4j微型 java 分布式离线计算框架
tinympi4j 是一款微型的 java 分布式离线计算框架, 实现原理如图:
特性
简单直观, 没有任何学习难度
slave支持多个任务并发/并行执行
使用HTTP协议通信
场景: 找素数/grep/wordcount/超大文件或大量小文件处理
不支持复杂数据类型
没有进度监控,健康监控,无容错功能
例子: 用两台服务器分布式计算找出10000以内的素数
public static void main(String[] args) { //启动master上的tomcat final int masterport = 8086; final String masterurl = "http://192.168.1.100:" + masterport; TomcatTool.startMasterTomcat(masterport); //创建任务 final BigTask<Integer> bigtask = BigTask.create(masterurl); //添加任务到两台计算节点, 请确保计算节点上的 tinympi4j-slave 已启动 //关于计算节点: https://github.com/binaryer/tinympi4j-slave bigtask.addTask2Slave("http://192.168.1.101:1234", PrimeSplitedtask.class, new Integer[] { 2, 5000 }); bigtask.addTask2Slave("http://192.168.1.102:1234", PrimeSplitedtask.class, new Integer[] { 5001, 10000 }); //等待所有节点执行完毕 final Collection<Integer> resultset = bigtask.executeAndWait(); //打印结果 for (int n : resultset){ //System.out.println(n); } }
评论
libGlass分布式计算框架
libGlass提供了一组可伸缩的组件用来执行分布式计算。应用程序在需要的情况下被当作是可重用的组件。该框架适合新的应用程序,同时对一些老应用也同样可用,而无需去改写。
libGlass分布式计算框架
0
Tiny分布式计算框架
其于职业介绍所、工头、工人、工作模型的分布式计算框架。职业介绍所有两种,一种是本地职业介绍所,一种是远程职业介绍所。顾名思义,本地职业介绍所就是在当前计算机上的,远程职业介绍所用于连接到远程职业介绍所
Tiny分布式计算框架
0
DPark分布式计算框架
DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark完成,
DPark分布式计算框架
0