Apache Samza分布式流处理框架联合创作 · 2023-10-01 06:36Samza是近日由LinkedIn开源的一项技术，它是一个分布式流处理框架，专用于实时数据的处理，非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop，而且使用了LinkedIn自家的Kafka分布式消息系统，并使用资源管理器 Apache Hadoop YARN 实现容错处理、处理器隔离、安全性和资源管理。。 浏览 7点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报 评论图片表情视频评价全部评论推荐 Tigon分布式流处理框架Tigon 是一个开源的、实时的、低延迟、高吞吐量的流处理框架。基于 Apache Hadoop 和Tigon分布式流处理框架Tigon是一个开源的、实时的、低延迟、高吞吐量的流处理框架。基于ApacheHadoop和ApacheHBase构建。Tigon严重依赖开源项目Tephra和Apache Twill提供紧密的集成到Apache StreamPark流处理极速开发框架StreamX 是一个 Apache Flink 极速开发框架。项目的初衷是 —— 让 Flink Apache StreamPark流处理极速开发框架StreamX 是一个ApacheFlink极速开发框架。项目的初衷是——让Flink开发更简单。StreamX定位是Flink|Spark开发脚手架+流批一体大数据平台，项目本身采用java、scaPyleus分布式处理框架Pyleus是一个来自Yelp的开源框架，使得Yelp的另外一个开源项目mrjob可以运行在ApacheStorm框架上，就像Hadoop一样。开发者可以使用纯Python实现大数据的处理，并进行快速Pyleus分布式处理框架Pyleus 是一个来自 Yelp 的开源框架，使得 Yelp 的另外一个开源项目 mrjob 可以Arroyo分布式流处理引擎Arroyo 是一个用Rust编写的分布式流处理引擎，旨在有效地对数据流执行有状态计算。与传统的批处理不同，流引擎可以在有界和无界源上运行，并在结果可用时立即发出。使用SQL转换、过滤、聚合和连接KaArroyo分布式流处理引擎Arroyo 是一个用 Rust 编写的分布式流处理引擎，旨在有效地对数据流执行有状态计算。与传统的Apache Twill分布式应用开发框架Apache Twill 是一个 Apache Hadoop YARN 的抽象层，减少了开发分布式应Apache HTrace分布式系统跟踪框架ApacheHTrace是Cloudera开源出来的一个分布式系统跟踪框架，支持HDFS和HBase等系统。该项目目前还在孵化阶段。ApacheHTrace是一个ApacheIncubator项目， 点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报
