Apache Fluo大规模数据集增量处理系统
Apache Fluo 是 Google Percolator(搜索索引)的开源实现,允许用户对存储在 Apache Accumulo 中的大型数据集进行增量更新,而无需重新处理所有的数据。与批处理和流处理框架不同的是,Fluo 提供了更低的延迟,并且可以在极大的数据集上运行。
在将新数据与现有数据相结合时,与批处理框架(例如 Spark,MapReduce)相比,Fluo 可明显减少延迟。其增量更新是使用事务实现的,允许数千个更新同时发生而不会破坏数据。
Fluo 已于 2017 年 7 月孵化成功,毕业成为 Apache 顶级项目。
评论
Apache Giraph分布式处理系统
ApacheGiraph是一个可伸缩的分布式迭代图处理系统,灵感来自BSP(bulksynchronousparallel)和Google的Pregel.Giraph区别于其他项目的是开源、基于Had
Apache Giraph分布式处理系统
0
Apache Pig大规模数据分析平台
ApachePig是一个分析大型数据集的平台,它由表达数据分析程序的高级语言和评估这些程序的基础设施组成。Pig程序的突出特性是其结构可以进行大量的并行化,进而使其能够处理非常大的数据集。目前,Pig
Apache Pig大规模数据分析平台
0
Greenplum DB大规模并行处理系统
Greenplum之前属于Pivotal,是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司。目前
Greenplum DB大规模并行处理系统
0
MapReduce大规模数据集软件架构
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(化简)",和他们的主要思想,都是从函数式编程语言借来的,还有从矢量
MapReduce大规模数据集软件架构
0