ZLUDA：让AMD GPU也能运行CUDA应用程序

项目介绍

ZLUDA是一个开源项目，它允许用户在不修改原有CUDA应用程序的情况下，在AMD GPU上以近原生性能运行。这意味着原本只能在NVIDIA GPU上运行的CUDA应用，现在也能在AMD GPU上高效执行，极大地拓展了CUDA应用的适用范围和硬件选择。

技术原理

ZLUDA的核心技术是利用ROCm和HIP runtime，将CUDA代码动态转换为可以在AMD GPU上运行的代码。它的实现基于以下关键技术：

CUDA运行时兼容层

ZLUDA通过提供与NVIDIA CUDA Driver API完全兼容的接口实现，使得CUDA应用程序无需修改即可运行。当应用程序调用CUDA函数时，ZLUDA会将调用重定向到相应的HIP运行时函数，实现无缝转换。

PTX编译器

ZLUDA包含一个专门的PTX编译器，能够将NVIDIA的PTX中间代码编译为AMD GPU的二进制代码。编译器采用多阶段处理流程，确保代码转换的准确性和性能。

架构设计

项目采用模块化设计，主要包括：

• ZLUDA运行时: 核心兼容层，处理CUDA API调用
• PTX编译器: 负责GPU代码转换
• 调试工具: 包括ZLUDA dumper用于诊断和调试

安装与使用

系统要求

• Git
• CMake
• Python 3
• Rust (1.86或更新版本)
• C++编译器
• ROCm 6.0+ (Linux) 或 HIP SDK (Windows)
• (Windows) 最新的AMD Radeon Software Adrenalin

构建步骤

1. 克隆代码库：

git clone --recurse-submodules https://gitcode.com/gh_mirrors/zlu/ZLUDA

2. 构建项目：

cargo xtask --release

使用方法

Windows系统：

<ZLUDA_DIRECTORY>\zluda.exe -- <APPLICATION> <APPLICATION_ARGUMENTS>

Linux系统：

LD_LIBRARY_PATH="<ZLUDA_DIRECTORY>:$LD_LIBRARY_PATH" <APPLICATION> <APPLICATION_ARGUMENTS>

支持的应用

ZLUDA目前已确认支持以下CUDA应用程序：

• Geekbench
• 3DF Zephyr
• Blender
• Windows上的PyTorch
• Reality Capture
• LAMMPS
• NAMD
• waifu2x
• OpenFOAM
• Arnold (概念验证)

已知问题与限制

硬件相关

• 系统同时存在集成AMD GPU和独立AMD GPU时，ZLUDA默认使用集成GPU
• 集成GPU（如Radeon 680M）支持有限，某些GPU操作可能导致应用程序挂起或崩溃
• 服务器GPU（如Instinct MI200）支持存在两种模式：快速模式（性能更好但可能不稳定）和慢速模式（更稳定）

软件相关

• 应用程序首次启动较慢，需要编译GPU代码
• 浮点运算结果可能与NVIDIA GPU有细微差异
• CUDA 12+应用程序使用Thrust时可能崩溃
• Windows版杀毒软件可能将ZLUDA标记为恶意软件

应用场景

ZLUDA在以下场景中具有重要价值：

硬件多样性需求

用户希望在多种硬件上运行CUDA应用程序，不受限于NVIDIA GPU。

成本考虑

AMD GPU在某些场景下可能具有成本优势，特别是需要大量GPU计算资源的用户。

性能优化

对于某些特定应用，AMD GPU可能提供更好的性能表现。

开发测试

开发者可以使用ZLUDA在不同硬件平台上测试CUDA应用程序的兼容性。

项目特点

强大的兼容性

ZLUDA能够无缝运行未经修改的CUDA应用程序，为用户提供了极大的便利性。用户无需重新编译或修改他们的CUDA代码，即可在不同硬件上运行。

接近原生的性能

尽管ZLUDA目前处于alpha阶段，但其性能已经非常接近原生CUDA在NVIDIA GPU上的表现。这对于追求性能的用户来说是一个巨大的优势。

跨平台支持

ZLUDA支持Windows和Linux平台，使得用户可以在不同的操作系统上使用AMD GPU运行CUDA应用。

开源活跃

ZLUDA是一个开源项目，拥有活跃的社区和持续的开发支持。用户可以参与到项目中来，提出问题、贡献代码或者提出新的功能请求。

技术挑战与解决方案

CUDA Dark API处理

ZLUDA需要处理NVIDIA的未公开API（Dark API），这些API通过GUID标识并被Runtime API和NVIDIA库使用。项目通过逆向工程逐步实现这些API。

GPU代码编译

PTX到AMD GPU二进制代码的转换涉及复杂的编译过程，包括LLVM IR生成和最终二进制代码生成。

性能库支持

ZLUDA提供了对cuDNN、cuBLAS、cuSPARSE等性能库的有限支持，通过调用相应的AMD原生库实现功能。

未来发展

虽然ZLUDA目前面临一些挑战，但其技术路线为CUDA生态系统的硬件多样性提供了重要解决方案。项目的开源特性使得社区可以持续推动其发展，为更多用户提供在AMD GPU上运行CUDA应用的可能性。

通过其在硬件兼容性、性能和开源社区的共同努力，ZLUDA有望成为CUDA生态系统中一个重要的组成部分，值得每一个相关领域的用户和开发者关注和使用。