Loki日志收集中的多行合并与重复日志问题解析

在基于Loki的日志收集系统中，多行日志合并是一个常见需求，特别是在处理Java应用日志时。本文通过一个典型问题场景，深入分析多行日志合并的配置要点和常见误区。

问题现象

用户在使用Loki收集Jenkins容器日志时，发现相同时间戳的日志出现了重复记录。具体表现为：

1. 同一时间点的日志被拆分成多条独立记录
2. 多行合并功能未能正确合并完整的异常堆栈
3. 部分日志内容出现重复

根本原因分析

经过排查，发现该问题由两个配置错误共同导致：

1. 重复数据源配置：在Promtail配置中同时挂载了/var/log和/var/lib/docker/containers两个目录，这两个路径实际上都包含了容器日志，导致同一日志被重复采集。

2. 重复任务定义：配置文件中同时定义了java-pod-logs和pods-logs两个采集任务，这两个任务都匹配相同的Pod日志，造成重复采集。

解决方案

正确的配置方式

对于Java应用日志收集，推荐采用以下最佳实践：

1. 单一数据源原则：只需挂载容器运行时日志目录（通常为/var/lib/docker/containers），避免多路径重复采集。

2. 合理的任务划分：

scrape_configs:
  - job_name: java-apps
    kubernetes_sd_configs:
      - role: pod
    pipeline_stages:
      - match:
          selector: '{app="jenkins-server"}'
          stages:
          - multiline:
              firstline: '^\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{1,9}\+\d{2}:\d{2}\s+stderr\s+F\s+\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}\.\d{3}\+\d{4}'
              max_wait_time: 3s
              max_lines: 512

多行合并配置要点

1. firstline正则：必须准确匹配日志的起始行特征，示例中同时匹配了两种时间格式。

2. 等待参数：

   • max_wait_time：设置适当的等待时间（如3秒），确保相关行能被合并
   • max_lines：限制单条日志最大行数，防止内存溢出

3. 时间戳处理：确保合并后的日志保留原始时间戳，避免查询时出现时序混乱。

经验总结

1. 日志采集配置应遵循"最小够用"原则，避免不必要的重复采集。

2. Java异常堆栈的多行合并需要仔细调试firstline正则表达式。

3. 在Kubernetes环境中，建议优先使用容器运行时接口获取日志，而不是直接访问宿主机日志文件。

4. 复杂的日志处理场景可以考虑使用Loki的pipeline stages进行预处理，减轻查询端压力。

通过合理配置，Loki能够很好地处理Java应用的多行日志，为分布式系统的日志监控提供可靠支持。