在AWS p3.2xlarge Ubuntu上构建CUTLASS项目的问题分析

在AWS p3.2xlarge Ubuntu实例上构建NVIDIA CUTLASS项目时，开发者遇到了构建过程挂起的问题。本文将详细分析该问题的原因及解决方案。

问题现象

开发者在AWS p3.2xlarge Ubuntu 20.04实例上尝试构建CUTLASS项目时，构建过程会在86%进度处挂起。具体表现为：

• 使用make cutlass_profiler -j9命令时，构建停留在"Built target cutlass_library_conv2d_sm70_s884dgrad_optimized_f16"消息处
• 系统资源显示CPU被构建进程完全占用
• 即使升级到更强大的机器，问题依然存在

环境配置

问题出现的环境配置如下：

• 操作系统：Ubuntu 20.04.2 LTS
• 内核版本：5.15.0-1052-aws
• GCC版本：9.4.0
• CUDA工具包版本：12.1
• 硬件配置：8核CPU（4核/2线程）

问题排查与解决

经过逐步排查，发现以下关键信息：

1. 降低并行度测试：使用make cutlass_profiler -j1单线程构建时，构建过程会在6%进度处挂起，提示正在构建"cutlass_library_objs.unity.a2ea0bb712b9.cu.o"文件。

2. Unity构建模式的影响：项目默认启用了Unity构建模式（通过-DCUTLASS_UNITY_BUILD_ENABLED=ON参数），这种模式会将多个源文件合并编译以提高构建速度，但在此环境下可能导致问题。

3. 解决方案：禁用Unity构建模式后，构建过程能够顺利完成。这表明问题与Unity构建模式在此特定环境下的兼容性有关。

技术分析

Unity构建（Unity Build）是一种编译优化技术，它通过将多个源文件合并为一个编译单元来减少重复的编译工作和内存使用。然而，这种技术在某些环境下可能会遇到问题：

1. 资源消耗：Unity构建会创建更大的编译单元，可能导致编译器需要更多内存和处理能力，在资源有限的AWS实例上容易达到瓶颈。

2. 编译器兼容性：不同版本的GCC和NVCC对大型编译单元的处理能力不同，可能导致构建挂起。

3. 并行构建冲突：高并行度构建（如-j9）可能加剧资源竞争，导致死锁或挂起。

建议与最佳实践

对于在AWS或其他云环境上构建CUTLASS项目的开发者，建议：

1. 禁用Unity构建：在cmake配置阶段添加-DCUTLASS_UNITY_BUILD_ENABLED=OFF参数。

2. 适当控制并行度：根据实例CPU核心数合理设置-j参数，一般建议设置为CPU核心数+1。

3. 监控资源使用：构建过程中使用top或htop监控系统资源，及时发现可能的瓶颈。

4. 考虑使用更强大的实例：对于大型项目构建，使用计算优化型实例（如c5系列）可能比通用型实例（如p3系列）更合适。

通过以上调整，开发者应该能够在AWS Ubuntu实例上顺利完成CUTLASS项目的构建。