Data Accelerator简化流数据处理的数据管道
Data Accelerator 的一些方法可以更容易地在 Apache Spark 上构建流式传输管道:
- 即插即用:轻松设置输入源和输出接收器,以便在几分钟内建立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据,并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等。
- 无代码体验:无需编写任何代码即可设置警报和数据处理。通过规则设计器体验,您可以指定简单和聚合的数据处理,标记和警报。
- SQL 查询:在 SQL 中编写复杂的处理——无需在 Scala 中工作。内置的可扩展性模型还支持用户定义的函数并利用 Azure 功能,例如,用于 ML 中流。
- 实时查询:通过针对传入数据样本运行,在几秒钟内验证您的查询,从而节省设置和测试管道处理的工作时间。
Data Accelerator 不仅仅是 EventHub 和数据库之间的管道。它允许用户在继续流式传输的同时重塑传入的事件,然后将同一事件的不同部分路由到不同的数据存储,同时提供健康监控和整个管道状态的警报。
Data Accelerator 还提供配置 UI 和规则/查询设计器体验,使用户无需编写任何代码即可启动和运行。
评论
Accelerator快速数据处理框架
Accelerator由eBay开源发布,是一个数据处理框架,可提供快速数据访问、并行执行。它可用于日常数据分析任务,也可当做是具有数十万个大型数据文件和多个CPU的实时系统。该项目已经构建、测试并运
Accelerator快速数据处理框架
0
Data BreweryPython 数据处理和分析包
Data Brewery 是一组 Python 框架和工具,用于数据处理和分析。主要功能包括:聚合数
Data BreweryPython 数据处理和分析包
0
Data BreweryPython 数据处理和分析包
DataBrewery是一组Python框架和工具,用于数据处理和分析。主要功能包括:聚合数据浏览、报表和多维建模。提供一组OLAPHTTP服务的轻量级Python框架。此外还包括ETL数据处理框架,
Data BreweryPython 数据处理和分析包
0
数据清洗(data cleaning)的重要性
转自公众号:ArisQ之前经常和临床试验数据打交道,无论是来自手动录入的数据还是取自数据库的数据,在完成数据获取这一步后,感觉有80%甚至90%的时间和精力会用在做数据清洗(data cleaning)这一环节,即“增”“删”“...
数据科学与人工智能
0
Suro数据管道服务
Netflix开源了一个叫做Suro的工具,它能够在数据被发送到不同的数据平台(如Hadoop、Elasticsearch)之前,收集不同应用服务器上的事件数据,这项创新技术具备成为大数据主流实践的潜
Suro数据管道服务
0