NVIDIA GPU Operator中vGPU许可证配置问题解析与解决方案

背景介绍

在使用NVIDIA GPU Operator部署Kubernetes集群时，vGPU功能的正常使用需要正确的许可证配置。近期有用户在Ubuntu 22.04系统上部署GPU Operator 23.9.1版本时遇到了vGPU许可证无法正常工作的问题。

问题现象

用户在部署完成后，发现vGPU功能无法正常使用。通过检查日志发现驱动容器在启动时出现了"无法找到ClientConfigToken"的错误。虽然用户已经正确配置了包含许可证令牌的ConfigMap，但系统仍然无法加载许可证。

根本原因分析

经过深入排查，发现问题的根源在于许可证配置参数设置不当。在GPU Operator的Helm chart中，有一个关键参数driver.licensingConfig.nlsEnabled控制着NVIDIA License System(NLS)的启用状态。只有当此参数设置为true时，Operator才会将许可证令牌挂载到驱动容器中。

解决方案

针对这个问题，有两种解决方法：

1. 推荐方案：修改Helm values配置 在部署GPU Operator时，确保在values.yaml中设置：

   driver:
     licensingConfig:
       nlsEnabled: true
   

   这是最规范的做法，能确保所有相关配置正确应用。

2. 临时方案：手动修改DaemonSet 如果已经部署完成，可以手动编辑驱动DaemonSet，添加以下配置：

   volumeMounts:
     - mountPath: /drivers/ClientConfigToken/client_configuration_token.tok
       name: licensing-token
       readOnly: true
       subPath: client_configuration_token.tok
   volumes:
     - configMap:
         items:
           - key: client_configuration_token.tok
             path: client_configuration_token.tok
         name: licensing-config
       name: licensing-token
   

   然后执行滚动重启使配置生效。

最佳实践建议

1. 部署前应仔细检查Helm chart的默认values配置，特别是对于新版本，可能会有参数默认值的变化。
2. 建议使用完整的values.yaml文件进行部署，而不是依赖chart的默认值，这样可以确保所有配置明确且可追溯。
3. 对于生产环境，建议先在小规模测试环境中验证配置，确认无误后再推广到整个集群。

技术原理深入

vGPU许可证系统的工作原理是：当驱动容器启动时，会检查指定路径下的许可证令牌文件。这个令牌文件包含了连接到NVIDIA许可证服务器所需的信息。只有当正确的令牌存在且可读时，vGPU功能才能被激活。

在GPU Operator的实现中，通过ConfigMap挂载机制将许可证令牌注入到驱动容器中。这个挂载行为由nlsEnabled参数控制，这是为了在不需要vGPU功能的场景下简化配置。

总结

vGPU功能的正确配置是GPU Operator部署中的一个关键环节。通过理解许可证系统的工作原理和Operator的配置机制，可以避免类似问题的发生。建议用户在使用新版本Operator时，仔细阅读相关文档并检查默认配置，确保所有功能按预期工作。