Grafana Alloy在Kubernetes中采集非标准路径日志的实践指南

背景介绍

Grafana Alloy作为新一代的遥测数据收集器，在Kubernetes环境中通常以DaemonSet方式部署，用于采集节点上的容器日志。标准情况下，容器日志会输出到/var/log/pods路径下，但实际业务场景中常会遇到应用程序将日志写入非标准路径（如/tmp目录）的情况。

问题分析

在Kubernetes环境中，容器日志采集面临以下技术挑战：

1. 日志路径多样性：虽然Kubernetes默认将容器stdout/stderr日志重定向到/var/log/pods，但应用程序可能直接将日志写入容器内部的其他路径（如案例中的/tmp目录）

2. 文件系统隔离性：容器文件系统与宿主机隔离，直接从宿主机访问容器内部文件需要特殊处理

3. 收集器配置复杂性：需要正确配置Alloy的volume挂载和日志采集路径

解决方案

方案一：利用标准输出重定向（推荐）

大多数情况下，即使应用程序将日志写入容器内/tmp等路径，也可以通过以下方式使其最终出现在标准输出流中：

1. 配置应用程序直接输出到stdout/stderr
2. 使用symlink将日志文件链接到/dev/stdout
3. 通过tail等命令将日志文件内容重定向到标准输出

这种方式使得日志仍可通过kubectl logs查看，并被Alloy的标准采集路径/var/log/pods捕获，无需特殊配置。

方案二：自定义volume挂载采集

当必须直接从容器内部路径采集日志时，可通过以下配置实现：

1. Helm values.yaml配置：

alloy:
  mounts:
    varlog: true  # 保持标准日志路径采集
    extra:
      - name: app-logs
        mountPath: /var/log/custom  # Alloy容器内的挂载点
        readOnly: true
  extraVolumes:
    - name: app-logs
      hostPath:
        path: /var/lib/kubelet/pods  # Kubelet挂载的容器volume路径
        type: Directory

2. Alloy配置调整： 需要修改scrape配置，将target路径指向自定义挂载点/var/log/custom

技术要点

1. 理解Kubernetes日志架构：

   • 容器标准输出由kubelet捕获并写入/var/log/pods
   • 容器内部文件可通过/var/lib/kubelet/pods访问

2. Alloy采集原理：

   • 作为DaemonSet运行时，每个节点部署一个实例
   • 通过挂载宿主机路径访问容器日志
   • 使用discovery.kubernetes组件自动发现Pod

3. 路径通配技巧：

   • 使用/var/log/pods/${1}/${2}/.log模式匹配多级目录
   • ${1}代表Pod UID，${2}代表容器名称

最佳实践建议

1. 优先考虑将日志输出到标准输出流
2. 必须采集文件日志时，确保Alloy有正确的文件系统权限
3. 生产环境建议使用ConfigMap管理Alloy配置
4. 注意volume挂载的readOnly设置确保安全性
5. 合理设置日志轮转策略防止磁盘爆满

排错指南

遇到采集问题时，可按以下步骤排查：

1. 确认Alloy Pod能访问目标日志路径
2. 检查volumeMounts和volumes配置是否匹配
3. 验证Alloy配置中的文件路径模式是否正确
4. 查看Alloy日志获取详细错误信息
5. 使用kubectl exec进入Alloy容器手动验证文件可访问性

通过合理配置，Grafana Alloy能够灵活应对各种Kubernetes日志采集场景，包括非标准路径的日志收集需求。