Suro数据管道服务
Netflix 开源了一个叫做Suro的工具,它能够在数据被发送到不同的数据平台(如Hadoop、Elasticsearch)之前,收集不同应用服务器上的事件数据,这项创新技术具备成为大数据主流实践的潜力
Suro 是数据管道服务,用来收集,聚合和调度大数据应用事件,包括日志记录数据。
特性:
-
分布式,支持横向扩展
-
支持流媒体数据流,大量连接和高吞吐量
-
根据领过的调度规则允许动态调度时间到不同的位置
-
包括一个简单而灵活的架构,允许用户添加额外的数据目的地
-
适用于 NetflixOSS 生态系统
-
是最优的数据管道,支持灵活的重试和转发,把数据丢失减到最小
评论
Tubemaps管道数据展示
Tubemaps是一个Node.js应用,给出一个数据集,将以管道的形式进行展示。示例代码:var TubeMap = require('tubemaps').TubeMap;var london =
Tubemaps管道数据展示
0
Aegisthus批量数据管道
Aegisthus是Cassandra外的批量数据管道。Aegisthus实现了SSTable格式的reader,提供一个map/reduce程序来凑成数据快照。
Aegisthus批量数据管道
0
Ploomber快速构建数据管道
Ploomber是构建数据管道的最快方式。使用你喜欢的编辑器(Jupyter、VSCode、PyCharm)进行交互式开发,并在不改变代码的情况下部署云(Kubernetes、Airflow、AWSB
Ploomber快速构建数据管道
0