Modded-NanoGPT项目中的CUDA设备序号错误分析与解决方案

问题背景

在使用Modded-NanoGPT项目进行多GPU训练时，用户遇到了"CUDA error: invalid device ordinal"的错误提示。该错误发生在尝试设置CUDA设备时，系统报告设备序号无效，尽管服务器上确实安装了4块NVIDIA RTX 4090显卡。

错误现象分析

错误发生时，系统显示以下关键信息：

• 使用设备标识为cuda:0到cuda:3
• 运行时错误：CUDA错误：无效的设备序号
• 错误发生在torch.cuda.set_device(device)调用处
• 系统环境：Ubuntu 24，4块RTX 4090显卡，CUDA 12.6，驱动版本560.35.05

根本原因

经过深入分析，发现问题根源在于运行配置中的GPU数量不匹配：

1. 用户服务器实际只有4块GPU（设备序号0-3）
2. 但运行脚本中设置了--nproc_per_node=8，即尝试使用8个进程
3. 当进程编号超过实际GPU数量时，就会触发"invalid device ordinal"错误

解决方案

针对这一问题，可以采取以下解决步骤：

1. 调整进程数量参数： 修改run.sh脚本中的--nproc_per_node参数，使其与实际GPU数量一致：

   torchrun --standalone --nproc_per_node=4 train_gpt2.py
   

2. 验证GPU可用性： 在运行前，建议先通过以下命令验证CUDA设备可见性：

   import torch
   print(torch.cuda.device_count())  # 应返回实际GPU数量
   for i in range(torch.cuda.device_count()):
       print(torch.cuda.get_device_name(i))
   

3. 环境检查：

   • 确保Docker容器正确配置了GPU支持（使用--gpus all参数）
   • 确认nvidia-docker运行时已正确安装
   • 检查CUDA和cuDNN版本兼容性

进一步优化建议

1. 动态设备检测： 可以在脚本中添加自动检测可用GPU数量的逻辑，避免硬编码设备数量：

   import torch
   num_gpus = torch.cuda.device_count()
   

2. 资源分配策略： 对于多GPU训练，可以考虑：

   • 数据并行：将批量数据分割到不同GPU
   • 模型并行：将大型模型分割到不同GPU
   • 混合并行：结合上述两种策略

3. 内存优化： 如遇到内存问题，可尝试：

   • 减小批量大小
   • 使用梯度累积
   • 启用混合精度训练

总结

在使用Modded-NanoGPT进行多GPU训练时，正确配置GPU设备数量至关重要。通过调整进程数量参数使其与实际硬件匹配，可以有效解决"invalid device ordinal"错误。同时，建议实施动态设备检测和合理的资源分配策略，以获得最佳的训练性能和稳定性。