QwenLM/Qwen3项目中多GPU训练时的设备一致性错误分析与解决方案

问题背景

在使用Qwen2.5-7B-Instruct模型进行多GPU训练时，用户报告了一个与设备一致性相关的运行时错误。该问题在使用transformers库4.46.2版本时出现，表现为训练过程中出现"Expected all tensors to be on the same device"的错误提示。

错误现象分析

错误日志显示，在计算交叉熵损失时，系统检测到张量分布在不同的GPU设备上（cuda:1和cuda:0）。具体发生在损失计算阶段，当执行loss = loss / num_items_in_batch这一操作时，系统无法自动处理不同设备间的张量运算。

根本原因

经过技术分析，该问题源于transformers库4.46.0版本后对损失函数实现的重大重构。在新版本中：

1. 损失计算被分离到专门的工具模块(loss_utils.py)
2. 批处理项数(num_items_in_batch)作为Python标量而非张量参与运算
3. 在多GPU环境下，系统未能正确处理设备间的数据同步

解决方案

针对这一问题，我们提供两种解决方案：

临时解决方案

直接修改transformers库源代码：

1. 定位到loss_utils.py文件中的fixed_cross_entropy函数
2. 将原代码loss = loss / num_items_in_batch
3. 修改为loss = loss / torch.tensor(num_items_in_batch, device=loss.device)

这一修改确保除数张量与损失张量位于同一设备上。

推荐解决方案

降级transformers库版本至4.45.0：

pip install transformers==4.45.0

此版本尚未引入损失函数重构，可以避免设备一致性问题的出现。

技术建议

对于深度学习多GPU训练，设备一致性是常见挑战。开发者在编写跨设备代码时应注意：

1. 所有参与运算的张量应显式指定设备
2. 标量值参与张量运算时应先转换为张量
3. 使用.to(device)方法确保数据位于正确设备
4. 在混合精度训练中特别注意数据类型和设备的一致性

后续维护

建议关注transformers库的后续更新，官方可能会修复这一设备同步问题。同时，在升级深度学习框架时，应充分测试多GPU场景下的兼容性。

对于Qwen系列模型的用户，在遇到类似问题时，可先检查transformers库版本，并考虑使用更稳定的旧版本作为临时解决方案。