scc-flume-pluginFlume 常用插件扩展包

联合创作 · 2023-09-28 11:57

本插件是对 Flume 现有插件的扩充,主要是:

    1、kafka-source,相对 flume 自带插件,升级了 kafka 依赖版本,支持更高版本的 kafka 集群,并支持自动扫描特定 topic ,无需在配置文件指定,并且自动匹配出 timestamp、level、topic、message 等常用字段;

    2、kafka-channel,相对 flume 自带插件,升级了 kafka 依赖版本,支持更高版本的 kafka 集群;

    3、es-sink,相对 flume 自带插件,升级了 elasticsearch 依赖版本,支持更高版本的 elasticsearch 集群。

对应版本如下:

  • flume1.7.0+

  • kafka2.12-0.10.2.1

  • elasticsearch6.1.0

其他版本未试验过。

flume 配置如下:

  • agent.sources = s1

  • agent.sinks = k1

  • agent.channels = c1

浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报