Prometheus Node Exporter中NFSd指标解析错误问题分析

问题背景

在使用Prometheus Node Exporter监控系统时，用户报告了一个频繁出现的错误日志："failed to retrieve nfsd stats: unknown NFSd metric line 'wdeleg_getattr'"。这个错误每4秒就会在多个机器上出现，影响了监控系统的正常运行。

问题根源

该问题源于较新版本的Linux内核(6.6.x和6.8.x)中NFS服务器(nfsd)引入了一个新的性能指标"wdeleg_getattr"，而旧版本的Node Exporter(1.5.0)尚未支持解析这个新指标。当Node Exporter尝试收集NFS服务器统计信息时，遇到这个未知的指标行就会报错。

技术细节

NFS服务器(nfsd)是Linux内核中负责处理网络文件系统请求的组件。随着内核版本的更新，开发者会不断添加新的性能指标来帮助监控和优化NFS服务器的性能。在较新的内核版本中，新增了"wdeleg_getattr"这个指标，用于跟踪委托获取属性的操作。

Node Exporter通过解析/proc/net/rpc/nfsd文件来收集NFS服务器统计信息。当遇到文件中包含未知的指标行时，就会抛出解析错误。这个问题在Node Exporter 1.8.0版本中得到了修复，该版本增加了对新指标的支持。

影响范围

受影响的系统包括：

• 运行Proxmox(内核版本6.8.4-3-pve)的系统
• 运行TrueNAS Scale(内核版本6.6.20-production+truenas)的系统

这些系统都使用了较新的Linux内核版本，其中包含了新引入的NFS服务器指标。

解决方案

对于遇到此问题的用户，有以下几种解决方法：

1. 升级Node Exporter到1.8.0或更高版本：这是最推荐的解决方案，新版本已经完整支持新的NFSd指标。

2. 使用Ansible安装工具：可以通过Ansible自动化工具来安装最新版本的Node Exporter，确保配置的一致性。

3. 等待发行版更新：对于使用Debian等发行版的用户，可以等待新版本的Node Exporter进入官方仓库。不过需要注意的是，这可能需要等到下一个Debian主要版本发布。

4. 临时禁用NFSd收集器：如果暂时无法升级，可以通过配置参数禁用NFSd指标的收集，避免错误日志的产生。

最佳实践

对于生产环境中的监控系统，建议：

• 定期检查并更新监控组件
• 关注Node Exporter的发布说明，了解新功能和修复的问题
• 在升级内核版本后，检查监控系统是否仍然正常工作
• 考虑使用容器化部署方式，便于快速更新监控组件

通过及时更新监控组件，可以确保系统能够正确识别和收集所有重要的性能指标，为系统运维提供完整的数据支持。