LogkafkaApache Kafka 的日志收集代理
logkafka是一个日志收集代理,可以按行收集日志文件并发送到kafka 0.8,每行为一条消息。
在生产环境部署之前请查看一下FAQ。
特性
通过zookeeper来管理日志收集相关配置
日志文件轮转
批量发送
压缩 (none, gzip, snappy)
与其他日志聚合&监控工具的区别
与flume, fluentd, logstash区别:
-
日志收集配置和状态的管理:
flume, fluentd, logstash需要在日志所在机器添加日志收集配置项,并在本地启动服务,用于管理日志配置项和状态。
logkafka将日志收集配置和收集状态保存在zookeeper节点中:logkafka监控相应的节点,当配置变动时,logkafka会自 动拉取最新的日志配置项;logkafka会将所收集文件内的当前偏移记录在本地文件中,并定期将收集的状态信息上传到zookeeper。
-
日志收集的顺序性
flume, fluentd, logstash的INPUT类型中都包含'tail'插件,但这些插件都是对扫描到的所有文件同时进行收集,不会考虑日志文件在时间上的顺序性。
logkafka会按时间顺序扫描新的文件。
评论
Telegraf统计数据收集代理
Telegraf是一个用Go编写的代理程序,可收集系统和服务的统计数据,并写入到InfluxDB数据库。Telegraf具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展。目前已有
Telegraf统计数据收集代理
0
LoggingAppender收集 Java 日志到 Redis 或 Kafka 中
用于收集Java日志到Redis或者Kafka中,日志收集完之后可使用Logstash导入ELK栈中
LoggingAppender收集 Java 日志到 Redis 或 Kafka 中
0