Tiny分布式计算框架
其于职业介绍所、工头、工人、工作模型的分布式计算框架。
职业介绍所有两种,一种是本地职业介绍所,一种是远程职业介绍所。顾名思义,本地职业介绍所就是在当前计算机上的,远程职业介绍所用于连接到远程职业介绍所的。
工人、工头都可以加入到职业介绍所,所以加到本地或远程种业介绍所都是可以的。
在同一个职业介绍所中,具有同样类型的工人、工头和工作都存在的时候,工作就可以被安排下去执行。当然,有两种安排方式,一种是即时响应式的,具体的来说就是调用职业介绍所的doWork方法,如果此时有同样类型的工人和工头,那么就去执行,如果没有对应类型的工人或工头,则抛出无法执行的异常。这一种是同步方式处理工作。
另外一种方式是把工作添加职业介绍所即可,不关心工作是什么时候执行的,执业介绍所会对工作进行撮合,撮合并成功执行之后就把工作从工作列表之间清除。这一种是异步方式处理工作。
评论
Paracel分布式计算框架
Paracel是一个分布式计算框架,用于解决机器学习的问题:逻辑回归、SVD、矩阵分解(BFGS,sgd,als,cg),LDA,Lasso...首先,Paracel拆分成大规模数据集和大量的参数空间
Paracel分布式计算框架
0
Bigflow分布式计算框架
Bigflow是百度的一套计算框架,它致力于提供一套简单易用的接口来描述用户的计算任务,并使同一套代码可以运行在不同的执行引擎之上。它的设计中有许多思想借鉴自 GoogleFlumeJava以及 Go
Bigflow分布式计算框架
0
DPark分布式计算框架
DPark是Spark的Python克隆,是一个Python实现的分布式计算框架,可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现,目前豆瓣内部的绝大多数数据分析都使用DPark完成,
DPark分布式计算框架
0