Prometheus Node Exporter中文件系统监控的默认排除路径问题分析

问题背景

在使用Prometheus Node Exporter监控Linux系统时，许多用户发现某些挂载点的文件系统指标（如node_filesystem_size_bytes）无法正常采集。特别是当文件系统挂载在/mnt或/media目录下时，这些指标会神秘消失。这实际上是由于某些Linux发行版（如Debian和Ubuntu）对Node Exporter的默认配置进行了特殊修改导致的。

技术原理

Node Exporter内置了一个filesystem收集器，用于采集文件系统的使用情况指标。该收集器默认会排除一些特殊文件系统类型和挂载点，如/proc、/sys等虚拟文件系统。但在标准配置中，它不会排除/mnt和/media这类常规挂载点。

然而，Debian和Ubuntu的维护团队认为：

1. 根据文件系统层次结构标准(FHS)，/mnt用于临时挂载文件系统
2. /media用于可移动媒体挂载 因此他们在打包Node Exporter时，通过补丁方式修改了默认的排除规则，将这两个目录加入了默认排除列表。

影响范围

这一修改主要影响以下场景：

1. 用户将持久存储挂载在/mnt目录下（虽然不符合FHS建议）
2. 需要监控可移动媒体设备的场景
3. 使用这些发行版的派生版本（如Ubuntu）的用户

解决方案

要解决这个问题，有以下几种方法：

1. 修改默认配置文件： 编辑/etc/default/prometheus-node-exporter文件，调整ARGS参数：

   ARGS="--collector.filesystem.mount-points-exclude=\"^/(dev|proc|run|sys|var/lib/docker/.+)($|/)\""
   

2. 通过systemd覆盖配置： 创建/etc/systemd/system/prometheus-node-exporter.service.d/override.conf文件：

   [Service]
   Environment="ARGS=--collector.filesystem.mount-points-exclude=^/(dev|proc|run|sys|var/lib/docker/.+)($|/)"
   

3. 调整挂载点位置： 将持久存储挂载到更合适的目录，如直接挂载到根目录下的自定义目录。

最佳实践建议

1. 对于生产环境中的持久存储，建议创建专用挂载点（如/storage），而非使用/mnt
2. 如果需要监控临时挂载点，确保明确配置排除规则
3. 定期检查Node Exporter的指标输出，确认所有需要监控的文件系统都被正确采集
4. 在容器化环境中，特别注意Docker相关挂载点的监控需求

总结

这个问题展示了开源软件在不同发行版中的定制化可能带来的兼容性问题。理解底层原理后，我们可以通过适当配置解决监控遗漏的问题。同时，遵循文件系统标准规范也能减少这类问题的发生。对于监控系统的维护者来说，定期验证指标完整性和理解所用发行版的特殊修改是非常重要的运维实践。