sccache项目对NVIDIA CUDA编译器nvcc的分布式编译支持

背景介绍

sccache是一个由Mozilla开发的编译器缓存工具，旨在通过缓存编译结果来加速编译过程。其分布式模式(sccache-dist)允许将编译任务分发到多台机器上执行，从而进一步提高编译速度。然而，对于NVIDIA的CUDA编译器nvcc，sccache的分布式模式一直存在支持不足的问题。

技术挑战

sccache-dist模式的核心机制是将预处理后的源代码发送到远程服务器进行编译。然而，nvcc的工作机制与传统C++编译器有显著不同：

1. nvcc需要同时处理主机(CPU)代码和设备(GPU)代码
2. 可以为多个GPU架构生成代码并打包成"fat binary"
3. 每个GPU架构的预处理结果可能不同，无法生成单一的预处理文件

这些特性使得nvcc无法直接支持sccache-dist现有的工作流程。

解决方案设计

经过深入分析，开发团队提出了创新性的解决方案：

1. 分解编译流程：利用nvcc的--dryrun选项获取其内部执行的详细命令序列
2. 识别可分布式执行的阶段：将编译过程分为必须在客户端执行的预处理阶段和可以分布式执行的编译阶段
3. 新增编译器支持：将cicc(CUDA中间代码编译器)和ptxas(PTX汇编器)作为一级支持的编译器

实现细节

解决方案将nvcc的编译流程分解为以下几个关键阶段：

1. 预处理阶段（客户端执行）

• 使用主机编译器(gcc/clang)预处理源代码
• 运行CUDA前端(cudafe++)分离主机和设备代码

2. 设备代码编译（可分布式）

• 对每个目标架构：
  • 预处理特定架构的代码
  • 使用cicc生成PTX中间代码
  • 使用ptxas将PTX汇编为cubin二进制

3. 最终生成阶段

• 使用fatbinary工具合并多个架构的编译结果
• 编译最终的主机目标文件

技术优势

这一设计带来了多方面的改进：

1. 真正的分布式支持：设备代码编译阶段可以充分利用分布式集群的计算资源
2. 更细粒度的缓存：即使最终.o文件不匹配，仍可复用中间编译结果
3. 性能提升：开发者本地编译时只需编译实际需要的架构，复用CI中已编译的其他架构结果

实际应用场景

考虑以下典型开发场景：

CI服务器编译支持所有架构：

nvcc ... \
   -gencode=arch=compute_60,code=[sm_60] \
   -gencode=arch=compute_70,code=[sm_70] \
   -gencode=arch=compute_80,code=[sm_80] \
   -gencode=arch=compute_90,code=[compute_90,sm_90]

开发者本地只需编译自己GPU对应的架构：

nvcc ... -gencode=arch=compute_90,code=[compute_90,sm_90]

在新方案下，虽然最终的.o文件不同，但compute_90相关的中间编译结果可以直接复用，大幅减少本地编译时间。

总结

sccache对nvcc的分布式编译支持通过创新的编译流程分解方法，解决了CUDA编译的特殊性带来的挑战。这一改进不仅实现了真正的分布式编译支持，还通过更细粒度的缓存机制显著提升了开发效率，特别是对于需要支持多GPU架构的项目。这一技术的实现展示了如何通过深入理解工具链工作原理来突破传统限制，为开发者提供更好的使用体验。