Mincemeat-node极简MapReduce框架

联合创作 · 2023-09-19

Mincemeat-node 是使用Node.js实现的极简MapReduce框架,可以快速的部署投入工作,免去Hadoop繁琐的配置,享受随心大数据。

Mincemeatpy实现的是一种非常简单的MapReduce模型,仅仅实现了任务的分布计算,并没有类似HDFS这样的支撑,因此只适合做计算量很 大的工作,但是相对于Hadoop的好处在于部署非常的方便,单文件随处运行,在实际使用中非常的方便,这也是我想用Node.js去实现的原因之一。 Node.js的网络异步处理模型非常适合于这种突发通信量较大,性能要求比较高的场景,并且也是单文件随处运行的典型。相对的,Node.js也有一个 很严重的缺点:无法很好的利用多核CPU。因此在代码的实现上,我还是使用了多进程的方式来达到最大化的利用计算资源,并且对Client的负载进行检测 以便做负载均衡。

浏览 6
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报