NVIDIA/cccl项目中Thrust库编译异常问题分析与解决

问题现象

在使用NVIDIA的cccl项目中的Thrust库时，开发者遇到了一个奇怪的运行时异常。具体表现为：当在CMakeLists.txt中启用CUDA_SEPARABLE_COMPILATION选项时，简单的Thrust排序示例程序会抛出异常；而注释掉该选项后，程序却能正常运行。

问题复现

示例程序非常简单，主要包含以下关键代码：

#include <thrust/device_vector.h>
#include <thrust/host_vector.h>
#include <thrust/sort.h>

int main() {
    thrust::host_vector<int> h_vec(1024 * 1024);
    thrust::device_vector<int> d_vec = h_vec;
    thrust::sort(d_vec.begin(), d_vec.end());
    return 0;
}

对应的CMake配置如下：

cmake_minimum_required(VERSION 3.12)
project(SimpleCudaProject CUDA)
set(CMAKE_CUDA_STANDARD 17)
add_executable(SimpleCudaProject main.cu)
set_target_properties(SimpleCudaProject PROPERTIES CUDA_SEPARABLE_COMPILATION ON)

初步分析

通过对比测试发现，问题的关键在于CUDA_SEPARABLE_COMPILATION选项的启用与否。这个选项实际上是启用了CUDA的可分离编译（Relocatable Device Code，简称RDC）功能。RDC允许设备代码被单独编译，然后在链接阶段合并，这对于大型项目或需要共享设备代码的库非常有用。

深入调查

进一步测试发现，当显式设置CMAKE_CUDA_ARCHITECTURES为80或更高版本时，问题可以得到解决。这表明问题可能与GPU架构的兼容性有关。

通过编写一个简单的测试程序来检查内核编译的架构版本，发现：

• 不设置CUDA_SEPARABLE_COMPILATION时，PTX版本为52
• 设置CUDA_SEPARABLE_COMPILATION时，PTX版本变为120
• 显式设置CMAKE_CUDA_ARCHITECTURES为100时，PTX版本变为100

根本原因

这个问题实际上是NVIDIA驱动的一个已知问题，在驱动版本572.76中存在，特别是在启用RDC（可分离编译）时会出现。当使用较新的GPU架构（如RTX 5070ti）时，驱动无法正确处理默认的架构设置。

解决方案

有两种可行的解决方案：

1. 升级NVIDIA驱动：将驱动升级到575或更高版本（如576.52）可以彻底解决此问题，无需额外设置架构参数。

2. 显式设置架构版本：在CMake中明确指定CUDA架构版本，例如：

   set(CMAKE_CUDA_ARCHITECTURES 100)
   

最佳实践建议

对于需要发布给不同GPU架构用户使用的库，建议：

1. 保持驱动版本最新
2. 在构建系统中明确指定支持的架构范围
3. 考虑使用PTX代码和即时编译(JIT)来提高兼容性
4. 在文档中明确说明最低驱动版本要求

结论

这个问题展示了CUDA开发中架构兼容性的重要性。通过理解RDC编译模式的工作原理和驱动版本的影响，开发者可以更好地处理类似的兼容性问题。对于生产环境，建议采用明确的架构指定和保持驱动更新的组合策略，以确保最佳的兼容性和性能。