还去服务器上捞日志？搭个日志收集系统不香么！-技术圈

原文链接：juejin.cn/post/7295623585364082739

一、ELK日志系统

经典的ELK架构或现被称为Elastic Stack。Elastic Stack架构为Elasticsearch + Logstash + Kibana + Beats的组合：

Beats负责日志的采集
Logstash负责做日志的聚合和处理
ES作为日志的存储和搜索系统
Kibana作为可视化前端展示

整体架构图：

二、EFK日志系统

容器化场景中，尤其k8s环境，用户经常使用EFK架构。F代表Fluent Bit，一个开源多平台的日志处理器和转发器。Fluent Bit可以：

让用户从不同来源收集数据/日志
统一并发到多个目的地
完全兼容Docker和k8s环境

三、PLG日志系统

1.Prometheus+k8s日志系统

2.PLG

Grafana Labs提供的另一个日志解决方案PLG逐渐流行。PLG架构即Promtail + Loki + Grafana的组合：

Grafana，开源的可视化和分析软件，允许用户查询、可视化、警告和探索监控指标。Grafana主要提供时间序列数据的仪表板解决方案，支持超过数十种数据源。

Grafana Loki是一组可以组成一个功能齐全的日志堆栈组件，与其它日志系统不同，Loki只建立日志标签的索引而不索引原始日志消息，而是为日志数据设置一组标签，即Loki运营成本更低，效率还提高几个数量级。

3.Loki设计理念

Prometheus启发，可实现可水平扩展、高可用的多租户日志系统。Loki整体架构由不同组件协同完成日志收集、索引、存储等。

各组件如下，Loki’s Architecture深入了解。Loki就是like Prometheus, but for logs。

Promtail是一个日志收集的代理，会将本地日志内容发到一个Loki实例，它通常部署到需要监视应用程序的每台机器/容器上。Promtail主要是用来发现目标、将标签附加到日志流以及将日志推送到Loki。截止到目前，Promtail可以跟踪两个来源的日志：本地日志文件和systemd日志（仅支持AMD64架构）。

四、PLG V.S ELK

1.ES V.S Loki

ELK/EFK架构确实强，经多年实际环境验证。存储在ES中的日志通常以非结构化JSON对象形式存储在磁盘，且ES为每个对象都建索引，以便全文搜索，然后用户可特定查询语言搜索这些日志数据。

而Loki数据存储解耦：

既可在磁盘存储
也可用如Amazon S3云存储系统

Loki日志带有一组标签名和值，只有标签对被索引，这种权衡使它比完整索引操作成本更低，但针对基于内容的查询，需通过LogQL再单独查询。

2.Fluentd V.S Promtail

相比Fluentd，Promtail专为Loki定制，它可为运行在同一节点的k8s Pods做服务发现，从指定文件夹读取日志。Loki类似Prometheus的标签方式。因此，当与Prometheus部署在同一环境，因为相同的服务发现机制，来自Promtail的日志通常具有与应用程序指标相同的标签，统一标签管理。

3.Grafana V.S Kibana

Kibana提供许多可视化工具来进行数据分析，高级功能如异常检测等机器学习功能。Grafana针对Prometheus和Loki等时间序列数据打造，可在同一仪表板上查看日志指标。

              
               往期推荐

                   
                    货拉拉公司，3年运维零故障！

                    Docker 容器优雅退出
                    开发都认为运维很Low？我反手一个嘴巴子

                    Linux系统性能优化：七个实战经验
                    17个运维常用指标，面试常问！
                    Linux大量日志，7个方法教你快速定位错误！
                    面试官：K8s Service 背后是怎么工作的？
                    史上最全的 网络知识 思维导图！
                    K8s Pod 故障排查，一个不为人知的技巧！
                    大厂总结 Nginx 高并发性能优化笔记

                    Nginx+Lua+Redis 实现灰度上线系统
                    基于 Jenkins 搭建一套 CI/CD 系统

                    Linux运维工程师频繁使用的10款工具
                    Nginx 七大应用场景（附配置）
                    Linux AWK文本处理神器，8个经典案例
                    全网最全 Linux 命令总结，建议收藏！
                    猪八戒网 CI/CD 实践总结 
                    16 张图硬核讲解Kubernetes网络
                    
                     
                      得物App全栈 DevOps 可观测平台落地实践
                     
                    
                     
                      神器 Nginx 的学习手册 ( 建议收藏 )
                     
                    
                     
                      19 个 K8S集群常见问题总结，建议收藏
                     
                    
                     
                      9 个实用 Shell 脚本，建议收藏！
                     
                    
                     
                      K8S运维必知必会的 Kubectl 命令
                     
                    
                     
                      史上最全 Jenkins Pipeline流水线详解
                     
                    
                     
                      主流监控系统 Prometheus 学习指南
                     
                    
                     
                      40个 Nginx 常问面试题
                     
                    常见Linux运维面试题，找工作的必看！
                    
                     
                      Linux运维工程师 50个常见面试题

点亮，服务器三年不宕机