Grafana Alloy 中处理 Kubernetes 多行日志的配置实践

在 Kubernetes 监控体系中，日志收集是一个关键环节。Grafana Alloy 作为新一代的遥测数据收集器，能够高效地处理来自 Kubernetes 的各种日志数据。本文将重点介绍如何配置 Alloy 来正确处理 Kubernetes 中的多行日志问题。

多行日志的挑战

Kubernetes 应用日志中经常会出现多行日志条目，特别是当应用抛出异常堆栈跟踪时。默认情况下，日志收集器会将每一行视为独立的日志条目，这会导致在 Grafana 等可视化工具中查看日志时，原本属于同一事件的日志被分割成多条记录，严重影响日志的可读性和查询效率。

Alloy 的多行日志处理机制

Grafana Alloy 通过 loki.process 组件中的 stage.multiline 阶段提供了强大的多行日志处理能力。核心配置参数包括：

1. firstline：定义多行日志的起始行模式
2. max_wait_time：等待多行日志完整接收的最大时间
3. max_lines：单个多行日志条目允许的最大行数

典型配置示例

针对 Python 应用常见的日志格式（包含时间戳和日志级别），我们可以使用以下配置：

stage.multiline {
  firstline      = "^\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2},\\d{3} - "
  max_wait_time  = "10s"
  max_lines      = 2048
}

这个配置表示：

• 以 "YYYY-MM-DD HH:MM:SS,SSS - " 格式开头的行将被识别为新日志条目的开始
• 系统会等待最多10秒来收集完整的多行日志
• 每个多行日志条目最多包含2048行内容

配置注意事项

1. 正则表达式转义：在 Alloy 配置中，正则表达式需要使用双反斜杠进行转义，这与许多编程语言中的正则表达式写法不同。

2. 时间格式匹配：必须确保 firstline 模式与应用程序日志中的实际时间格式完全匹配，包括所有标点符号和空格。

3. 缓冲区大小：max_lines 参数应根据实际日志情况合理设置，过小会导致日志截断，过大则可能消耗过多内存。

4. 等待时间：max_wait_time 需要平衡日志完整性和实时性，对于频繁产生日志的系统可以适当缩短。

完整配置建议

在实际生产环境中，建议将多行日志处理与日志的元数据处理（如添加 Kubernetes 元标签）结合起来。一个完整的配置通常包括：

1. 日志发现（通过 discovery.kubernetes）
2. 元数据标记（通过 discovery.relabel）
3. 多行日志处理（通过 loki.process 的 stage.multiline）
4. 日志输出（通过 loki.write）

通过合理配置这些组件，可以确保 Kubernetes 日志被完整、准确地收集并传输到 Loki 等日志存储系统中，为后续的日志分析和故障排查提供可靠的数据基础。