Fluent Bit 采集宿主机 Ubuntu 系统日志的技术方案

背景与需求场景

在 Kubernetes 环境中使用 Fluent Bit 进行日志收集时，经常需要采集宿主机（如 Ubuntu 系统）的系统日志（如 /var/log/syslog）。当 Fluent Bit 运行在 Minikube 这类容器化环境中时，由于容器隔离性，默认无法直接访问宿主机的文件系统。

核心解决方案

通过 Kubernetes 的 Volume 挂载机制将宿主机日志目录映射到 Fluent Bit 容器内部，这是实现跨容器边界日志采集的标准方法。具体实现需要以下关键步骤：

1. 目录挂载配置：

   • 将宿主机 /var/log 目录以 hostPath 形式挂载到容器内部
   • 建议使用只读（readOnly: true）模式保证安全性

2. Fluent Bit 输入配置：

   • 使用 tail 输入插件监控挂载后的日志文件路径
   • 需要正确处理文件路径的容器内映射关系

3. 权限处理：

   • 确保 Fluent Bit 容器有足够权限读取宿主机日志文件
   • 可能需要配置 securityContext 中的 runAsUser

典型配置示例

以下是 Fluent Bit DaemonSet 的片段配置示例：

spec:
  template:
    spec:
      containers:
      - name: fluent-bit
        volumeMounts:
        - name: host-log
          mountPath: /host/var/log
          readOnly: true
      volumes:
      - name: host-log
        hostPath:
          path: /var/log

对应的 Fluent Bit 输入配置：

[INPUT]
    Name              tail
    Path              /host/var/log/syslog
    Tag               host.syslog
    Parser            syslog-rfc3164
    Refresh_Interval  5

注意事项

1. 日志轮转处理：需要配置适当的 DB 文件保存位置来处理日志轮转后的文件追踪
2. 多节点环境：在真实 Kubernetes 集群中需确保每个节点的日志都能被正确采集
3. 性能影响：高频更新的系统日志可能产生较大负载，需合理设置 Mem_Buf_Limit 等参数
4. 安全审计：生产环境建议结合 RBAC 进行权限控制

进阶方案

对于更复杂的生产环境，还可以考虑：

• 使用 systemd-journald 直接采集日志（需挂载 /run/journal）
• 通过节点级日志代理实现更高效的收集
• 结合 Filter 插件实现日志的预处理和结构化

通过以上方法，可以构建可靠的宿主机日志采集管道，为后续的日志分析和监控提供完整数据源。