NVIDIA GPU Operator中监控MIG设备的关键指标配置指南

背景介绍

在Kubernetes环境中使用NVIDIA GPU Operator时，监控多实例GPU(MIG)设备的资源利用率是一个常见需求。MIG技术允许将单个物理GPU划分为多个独立运行的GPU实例，每个实例都有自己的内存、缓存和计算核心。

监控挑战

默认情况下，DCGM(Data Center GPU Manager)导出器不会报告MIG设备的传统GPU利用率指标(DCGM_FI_DEV_GPU_UTIL)，这是因为MIG设备的架构特性使得传统监控方式不再适用。这给运维人员带来了监控盲区。

解决方案

替代指标选择

经过社区验证，可以使用DCGM_FI_PROF_SM_OCCUPANCY作为替代指标来监控MIG设备的计算资源利用率。这个指标反映了流式多处理器(SM)的占用情况，能够准确反映MIG实例的计算负载。

配置步骤

1. 修改DCGM导出器配置：需要编辑dcgm-exporter的配置文件，通常在/etc/dcgm-exporter/dcp-metrics-included.csv路径下。

2. 启用性能指标：在配置文件中取消对DCGM_FI_PROF_*系列指标的注释，确保这些指标能够被采集和导出。

3. Prometheus指标处理：由于MIG设备会产生多个指标实例，需要在Prometheus查询中使用适当的聚合函数来处理这些数据。

最佳实践

• 指标聚合：对于MIG设备，建议使用max或avg等聚合函数来处理多个实例的指标数据，以获得整体视图。

• 标签处理：注意DCGM导出器生成的指标标签，确保能够正确区分不同MIG实例的数据。

• 监控看板调整：根据MIG特性调整Grafana等可视化工具中的监控面板，重点关注SM占用率和内存使用率等关键指标。

总结

通过合理配置DCGM导出器并选择适当的替代指标，完全可以实现对MIG设备的全面监控。这一解决方案已在生产环境得到验证，能够有效解决MIG设备监控的痛点问题。随着NVIDIA生态的不断发展，预计未来会有更多针对MIG设备的专用监控指标和工具出现。