Incus虚拟化环境中虚拟机内存与CPU监控数据异常问题分析

在基于Incus虚拟化平台的环境中，用户报告了一个关于虚拟机监控数据异常的问题。具体表现为通过Incus提供的metrics接口获取的虚拟机内存和CPU使用数据存在明显错误，尤其是内存可用量显示为异常巨大的数值（如4EB），而CPU时间在某些核心上出现负值。

问题现象

用户在使用Incus 6.0.3版本时发现：

1. 内存监控数据显示异常：分配给虚拟机4GB内存，但metrics接口报告可用内存高达1.84×10¹⁹字节（约4EB）
2. CPU时间监控数据异常：某些核心的CPU时间显示为负值
3. 资源使用率图表显示异常：即使虚拟机负载很高，监控图表仍显示相对平坦的曲线

技术背景

Incus作为LXC/LXD的下一代实现，提供了完整的虚拟化和容器管理功能。其metrics接口通过以下方式收集数据：

• 对于虚拟机：默认通过QEMU的QMP接口获取资源使用信息
• 备选方案：可通过在虚拟机内安装Incus agent获取更精确的OS级数据

根本原因分析

经过技术团队深入调查，发现问题源于以下几个方面：

1. 内存计算溢出问题：

   • Incus通过解析/proc/[pid]/status中的VmRSS值获取虚拟机内存使用量
   • 同时从实例配置中读取内存限制值
   • 当QEMU进程本身的内存开销导致实际使用量超过配置限制时，会导致uint64类型溢出
   • 这解释了为何会出现异常巨大的内存可用量数值

2. QEMU版本兼容性问题：

   • 用户环境使用的是较旧的QEMU 7.2.15版本
   • 该版本在返回内存统计信息时可能存在兼容性问题
   • 特别是在内存压力较大时，统计信息可能出现异常

3. CPU时间计算问题：

   • CPU时间的负值表明存在计数器回绕或计算错误
   • 这可能与时间戳采集和计算的时序问题有关

解决方案与建议

1. 推荐解决方案：

   • 在虚拟机内部安装Incus agent：

     mount -t 9p config /mnt
     cd /mnt
     ./install.sh
     reboot
     

   • 这将提供更准确的OS级监控数据

2. 临时解决方案：

   • 升级QEMU到较新版本（8.x或更高）
   • 适当增加虚拟机内存限制，留出QEMU进程本身的开销空间

3. 长期建议：

   • 保持Incus和QEMU组件版本同步更新
   • 对于生产环境，建议使用Incus agent获取监控数据
   • 考虑在内存计算逻辑中加入溢出保护机制

技术细节补充

内存计算的具体过程：

1. 从/proc/[pid]/status读取VmRSS值（如"2211100 kB"）
2. 转换为字节单位（2211100×1024=2209052000字节）
3. 从配置读取内存限制（如2GiB=2147483648字节）
4. 计算可用内存时，如果使用量超过限制，会导致计算结果异常

总结

这个问题揭示了虚拟化环境监控中的一个常见挑战：如何准确获取客户机的资源使用情况。通过分析我们了解到，直接通过hypervisor获取的监控数据可能因各种因素（如版本差异、计算逻辑）而不准确。最佳实践是在虚拟机内部署监控agent，这不仅能解决当前问题，还能提供更丰富、更精确的系统级监控指标。

对于Incus用户，建议定期检查组件版本兼容性，并在关键业务环境中优先使用Incus agent方案获取监控数据。