falcon-log-agent 简介

falcon-log-agent 是一个开源版的日志采集工具，旨在从流式的日志中抓取、统计日志中的特征信息。

获取的特征信息，与开源版 Open-Falcon 监控系统打通。可用于业务指标的衡量、也可用于稳定性的建设。

特性

• 准确可依赖：历经滴滴线上业务近一年考验，统计准确性高。

• 性能高、资源消耗可控：性能优化程度高，单核单策略可支撑日志分析:20W条/秒

• 接入成本低：外挂式采集，只需要标准化日志即可；输出数据直接对接 open-falcon。

附：滴滴公司 agent 升级前后资源占用对比图 

什么是日志采集

日志采集，是一种外挂式的采集。通过读取进程打印的日志，来进行监控数据的采集与汇聚计算。

falcon-log-agent如何工作

本 agent 即日志采集场景下的实时计算。实时读取文件内容，实时计算，将计算结果直接推送至falcon。

限定条件

• 要求日志必须包含时间：不包含时间的日志，只能根据当前时间统计日志条数，结果非常不准确。

• 不支持文件软链

• 日志时间必须有序：为了应对日志延迟落盘等，agent会根据日志的时间来判断某一周期的数据是否采集完成，如果日志时间顺序错乱，可能导致采集不准。