llm.c项目中CUDNN执行计划构建失败问题分析与解决

问题背景

在使用llm.c项目进行GPT-2模型训练时，用户遇到了CUDNN相关的错误。具体表现为当启用CUDNN加速时，系统抛出"CUDNN ERROR"并提示"No execution plans built successfully"，导致训练无法正常进行。该问题发生在单块RTX 4090显卡上，运行环境为WSL2。

错误现象分析

错误信息显示在cudnn_att.cpp文件的第141行出现了问题，核心错误是"没有成功构建任何执行计划"。这表明CUDNN库在尝试为特定的神经网络操作（特别是注意力机制部分）寻找最优的计算策略时失败了。

可能的原因

1. 环境配置问题：WSL2环境下CUDA和CUDNN的兼容性问题
2. 硬件限制：RTX 4090显卡对某些CUDNN操作的支持问题
3. 参数设置不当：训练参数如batch size、序列长度等与CUDNN优化器的兼容性问题
4. 版本冲突：CUDNN版本与项目代码或CUDA版本的兼容性问题

解决方案

1. 禁用CUDNN：作为临时解决方案，可以禁用CUDNN加速，虽然会导致MFU（模型浮点运算利用率）降低，但可以保证训练正常进行。

2. 启用CUDNN调试信息：

   • 设置环境变量CUDNN_LOGINFO=1来获取更详细的CUDNN调试信息
   • 这有助于定位具体是哪个操作导致了执行计划构建失败

3. 检查项目版本：

   • 确保使用的是项目最新代码，因为MFU计算逻辑近期有更新
   • 新版本对不同GPU的支持更完善，包括RTX 4090

4. 验证数据集：

   • 虽然与CUDNN错误无直接关联，但Hellaswag评估数据集缺失的警告也应处理
   • 运行指定的Python脚本生成所需的二进制评估文件

性能优化建议

1. MFU理解：在RTX 4090上达到70%的MFU已经是相当不错的表现，因为GPU还需要处理除bf16矩阵乘法外的其他任务。

2. 参数调整：

   • 可以尝试调整batch size和序列长度
   • 测试不同的梯度累积步数设置

3. 内存管理：

   • 监控GPU内存使用情况
   • 确保有足够的内存用于CUDNN优化器的执行计划缓存

总结

在llm.c项目中使用CUDNN加速时遇到执行计划构建失败的问题，通常与环境配置或参数设置有关。通过禁用CUDNN或获取更详细的调试信息可以解决或诊断问题。同时，保持项目代码最新并正确设置评估数据集，能够获得更稳定和高效的训练体验。对于RTX 4090用户，70%左右的MFU已经是相当不错的性能表现。