FA11# Fink实时计算平台功能点整理
瓜农老梁
共 661字,需浏览 2分钟
·
2022-02-15 20:35
引言
本文简要梳理下Flink实时计算平台提供的能力和功能点:
- 实时计算场景与特性
- 实时计算平台架构
- 功能点整理
- 实时推荐:千人千面个性化推送
- 实时监控:反欺诈以及触发风控的异常与预警
- 实时报表:促销活动实时大屏等
- 实时检索:实时索引的构建和检索等
- 实时处理:数据实时清洗和汇总的其他场景
2.Flink实时计算框架特点
低延迟:毫秒级延迟
高吞吐:千万每秒吞吐
准确性:Exactly-once 状态一致性
易用性:作业开发使用高阶的Flink SQL API&Table API
二、实时计算平台架构
1.数据流线路图
备注:
数据源:Binlog数据库数据增量订阅、SDK的埋点数据、Agent的上报数据、以及事件总线类数据
消息队列:数据源的数据被收集到消息队列中,通常选型Kafka
Fink实时平台:Flink从消息队列消费数据跑作业任务
业务场景:由Flink任务类型支撑各类场景
2.架构示意图
备注:Table & SQL API通过Apache Calcite进行SQL解析,并转换成Calcite执行计划,最终调用Flink DataStream/DataSet API。
三、功能点整理
- 资源上传:上传执行作业的jar文件或者gitlab地址平台进行打包编译成jar包
- 创建作业:配置作业的jar、并发以及一些策略等信息
- 作业信息:展现作业的运行状态、重启等
- 事件日志:记录操作的详细日志
- 异常日志:展现作业的日志和错误信息
- SQL作业:任务SQL化,提供Flink SQL作业调试、语法校验、编辑提交等功能
评论
Flink实时计算 UFlink
实时计算UFlink是UCloud基于开源流处理框架Apache Flink构建的分布式、高性能实时大数据处理平台,能够为流式数据提供亚秒级别延时的实时处理能力。
UCloud
0
JXTAP2P计算平台
JXTA是一个用来解决P2P计算的开放的网络计算平台。JXTAP2P平台使开发者在其上建立PtoP的应用。2001年4月,发布了第一个源型实现,它是基于JDK1.1.4的。现有的P2P系统有一些缺陷,
JXTAP2P计算平台
0
wingcloud基于微服务的实时计算展示平台
wingcloud是基于微服务架构的实时计算展示平台。作为实时计算平台,wingcloud又采用Flink流计算处理框架来实现高吞吐、低延迟的性能要求。wingcloud-web:https://gi
wingcloud基于微服务的实时计算展示平台
0