QwenLM/Qwen项目中的3090显卡微调显存优化实践

问题背景

在使用QwenLM/Qwen项目进行模型微调时，开发者遇到了一个典型问题：在NVIDIA GeForce RTX 3090 12GB显卡上尝试微调1.4B模型时出现了显存不足(OOM)的错误。这个问题实际上反映了当前大模型微调中常见的硬件资源挑战。

问题分析

错误现象

当开发者运行finetune_lora_single_gpu.sh脚本时，系统报出CUDA显存不足的错误。具体表现为：

1. 训练过程中尝试分配2MB显存时失败
2. 显卡总容量为12GB，已分配约10.36GB
3. 剩余可用显存仅22.06MB
4. PyTorch总共保留了10.45GB显存

根本原因

深入分析后，发现存在几个关键问题：

1. 模型版本混淆：开发者尝试微调的是1.4B模型，而Qwen项目实际上提供的是1.8B模型，这表明可能存在模型版本选择错误。

2. 模型类型不当：微调脚本加载的是基础模型而非Chat模型。根据项目文档，基础模型的LoRA微调需要更多显存，12GB显存不足以支持。

3. 系统环境问题：内核版本(5.4.0)低于推荐的最低版本(5.5.0)，这可能导致进程挂起风险。

解决方案

正确模型选择

1. 使用1.8B-Chat模型替代1.4B基础模型
2. 确认模型路径指向正确的Chat模型版本

显存优化策略

1. 单卡微调配置：

   • 设置CUDA_VISIBLE_DEVICES=0限制使用单卡
   • 调整batch size和gradient accumulation steps平衡显存使用

2. 多卡微调观察：

   • 双卡模式下显存占用会自然分布
   • 注意实际batch size会随GPU数量线性增加

3. 系统级优化：

   • 升级Linux内核至5.5.0或更高版本
   • 监控并管理非训练进程的显存占用(如Xorg)

实践验证

实施上述解决方案后：

1. 单卡模式下显存占用降至约6.5GB
2. 另一张显卡仅保留系统必需的约10MB显存
3. 训练过程稳定运行，不再出现OOM错误

经验总结

1. 模型选择：大模型微调时务必确认模型类型和版本，Chat模型通常比基础模型更适合资源受限环境。

2. 显存管理：理解PyTorch的显存分配机制，合理设置训练参数，必要时使用梯度累积等技术。

3. 环境配置：保持系统环境符合推荐配置，避免因底层问题导致训练不稳定。

4. 监控工具：使用nvidia-smi等工具实时监控显存使用情况，及时发现异常占用。

通过这次实践，我们验证了在12GB显存的消费级显卡上微调1.8B参数量的Qwen-Chat模型的可行性，为类似资源条件下的模型微调提供了有价值的参考方案。