AIMET项目对CUDA架构9.0的支持问题解析

背景介绍

在深度学习模型优化领域，AIMET（AI Model Efficiency Toolkit）是一个重要的开源工具包，它提供了模型量化和压缩等功能。近期，有用户在H20服务器上构建AIMET时遇到了CUDA架构9.0不被支持的问题。

问题现象

用户在构建AIMET时，CMake配置过程中显示CUDA架构9.0（即sm_90）被从支持的架构列表中移除。具体表现为：

1. 初始支持的CUDA架构列表为：52、60、61、70、72
2. 更新后的架构列表变为：50、60、70、75、80、86、37
3. 系统明确提示移除了不支持的架构90

技术分析

通过查看AIMET项目的CMakeLists.txt文件，我们发现项目主动移除了某些不支持的CUDA架构：

set(UNSUPPORTED_CUDA_ARCHITECTURES_TORCH 90)
list(REMOVE_ITEM CMAKE_CUDA_ARCHITECTURES ${UNSUPPORTED_CUDA_ARCHITECTURES_TORCH})

这种设计选择通常基于以下技术考量：

1. 兼容性问题：某些执行器（executors）在CUDA 9.0架构上运行时出现故障
2. 构建稳定性：保留不支持的架构可能导致构建过程不稳定
3. 测试覆盖：项目团队可能尚未完成对新架构的全面测试

解决方案进展

项目维护团队对此问题做出了积极回应：

1. 确认正在开发修复方案，将重新支持CUDA 9.0架构
2. 计划通过Pull Request形式提交修复
3. 最终将通过新版本发布（如1.33.1）提供官方支持

最新动态

根据最新消息，AIMET项目已经：

1. 合并了相关修复的PR
2. 提供了对CUDA 12的官方支持
3. 建议用户直接通过pip install aimet-torch安装最新版本，无需从源码构建

技术建议

对于需要使用CUDA 9.0架构的用户：

1. 可以等待官方发布包含修复的新版本
2. 或者考虑升级到CUDA 12环境，使用最新支持的版本
3. 如果必须使用特定版本，可考虑临时修改CMakeLists.txt文件，但需自行承担稳定性风险

总结

AIMET项目团队对硬件兼容性保持高度关注，会持续更新对不同CUDA架构的支持。用户遇到类似问题时，建议关注项目更新或与维护团队沟通获取最新支持情况。