FaustPython 流处理
Faust 是一个流处理库,将想法从 Kafka Streams 移植到 Python。
它在 Robinhood 用于构建高性能的分布式系统和实时数据管道,每天处理数十亿个事件。
Faust 提供流处理和事件处理,与 Kafka Streams,Apache Spark / Storm / Samza / Flink 等工具共享相似性,
它不使用 DSL,它只是 Python!这意味着您可以在流处理时使用所有您喜欢的 Python 库:NumPy,PyTorch,Pandas,NLTK,Django,Flask,SQLAlchemy,++
Faust 需要 Python 3.6 或更高版本才能使用新的 async / await 语法和变量类型注释。
特性:
- 简单易使用
- 高度可用
- 快速
- 灵活性
以下是处理传入订单流的示例:
# Python Streams ٩(◕‿◕)۶
# Forever scalable event processing & in-memory durable K/V store;
# w/ asyncio & static typing.
import faust
app = faust.App('myapp', broker='kafka://localhost')
# Models describe how messages are serialized:
# {"account_id": "3fae-...", amount": 3}
class Order(faust.Record):
account_id: str
amount: int
@app.agent(value_type=Order)
async def order(orders):
async for order in orders:
# process infinite stream of orders.
print(f'Order for {order.account_id}: {order.amount}')
评论
RikoPython 流处理引擎
Riko是一款Python流处理引擎,类似YahooPipes。采用纯python开发,用于分析处理结构化数据流。拥有同步和异步APIs,同时也支持并行RSSfeeds。Riko也支持字符终端界面。功
RikoPython 流处理引擎
0
libgroove音频流处理库
libgroove是流音频处理库,提供播放列表音频的编码和解码功能,可以作为音乐播放器的后端。特性使用ffmpeg进行编码和解码在播放列表中添加或者删除条目支持暂停,播放和查找查看和编写元数据标签
libgroove音频流处理库
0
Arroyo分布式流处理引擎
Arroyo 是一个用Rust编写的分布式流处理引擎,旨在有效地对数据流执行有状态计算。与传统的批处理不同,流引擎可以在有界和无界源上运行,并在结果可用时立即发出。使用SQL转换、过滤、聚合和连接Ka
Arroyo分布式流处理引擎
0
Tigon分布式流处理框架
Tigon是一个开源的、实时的、低延迟、高吞吐量的流处理框架。基于ApacheHadoop和ApacheHBase构建。Tigon严重依赖开源项目Tephra和Apache Twill提供紧密的集成到
Tigon分布式流处理框架
0