解决Triton Inference Server编译时CMAKE_CUDA_ARCHITECTURES错误

在使用Triton Inference Server进行非Docker环境编译时，开发者可能会遇到一个常见的CMake配置错误："CMAKE_CUDA_ARCHITECTURES must be non-empty if set"。这个问题通常出现在尝试为不同CUDA架构编译后端组件时。

问题现象

当开发者尝试使用自定义的CMake参数编译Triton Inference Server时，构建系统会报错提示CUDA架构设置无效。错误信息明确指出CMAKE_CUDA_ARCHITECTURES参数不能为空，即使开发者已经明确设置了该参数。

问题根源

这个问题的根本原因在于CUDA架构版本的格式不正确。开发者最初使用了带有小数点的格式（如"6.0"、"7.5"等），而CMake期望的格式是不带小数点的两位数版本号（如"60"、"75"等）。

解决方案

正确的做法是将CUDA架构版本号转换为不带小数点的两位数格式。例如：

• 6.0 → 60
• 7.5 → 75
• 8.6 → 86
• 9.0 → 90

在构建脚本中，应该这样设置CMAKE_CUDA_ARCHITECTURES参数：

CMAKE_CUDA_ARCHITECTURES="60;61;62;70;75;80;86;89;90"

技术背景

CUDA架构版本号（也称为计算能力）代表了NVIDIA GPU的计算能力。在编译CUDA代码时，开发者可以指定目标GPU的架构版本，以便编译器生成针对特定架构优化的代码。

Triton Inference Server使用CMake作为构建系统，当启用GPU支持时，需要正确配置CUDA相关的编译参数。CMAKE_CUDA_ARCHITECTURES参数告诉CMake要为哪些CUDA架构生成代码。

最佳实践

1. 版本兼容性：在设置CUDA架构版本时，应考虑实际使用的GPU硬件和CUDA工具包的兼容性。

2. 多架构支持：可以指定多个架构版本，用分号分隔，这样生成的代码可以在多种GPU上运行。

3. 性能考量：只为实际需要的架构生成代码，过多的架构指定会增加编译时间和二进制文件大小。

4. 构建脚本验证：在构建脚本中添加参数验证逻辑，确保CUDA架构版本格式正确。

通过正确设置CUDA架构版本参数，开发者可以顺利完成Triton Inference Server的编译过程，充分利用GPU加速推理服务的性能优势。