Suro数据管道服务

联合创作 · 2023-09-19 02:41

Netflix 开源了一个叫做Suro的工具,它能够在数据被发送到不同的数据平台(如Hadoop、Elasticsearch)之前,收集不同应用服务器上的事件数据,这项创新技术具备成为大数据主流实践的潜力

Suro 是数据管道服务,用来收集,聚合和调度大数据应用事件,包括日志记录数据。

特性:

  • 分布式,支持横向扩展

  • 支持流媒体数据流,大量连接和高吞吐量

  • 根据领过的调度规则允许动态调度时间到不同的位置

  • 包括一个简单而灵活的架构,允许用户添加额外的数据目的地

  • 适用于 NetflixOSS 生态系统

  • 是最优的数据管道,支持灵活的重试和转发,把数据丢失减到最小

suro-realtime-flow-example

浏览 8
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报