InternLM2模型高版本Transformers运行报错分析与解决方案

问题背景

在使用InternLM2-chat-20b模型时，当Transformers库版本升级到4.34及以上时，会出现"CUDA error: device-side assert triggered"的错误。而同样的代码在Transformers 4.33.0版本下却能正常运行。这一现象引起了开发者的关注，因为CUDA设备端断言错误通常涉及底层计算问题。

错误现象分析

错误发生在模型生成阶段，具体是在准备解码器注意力掩码时触发了CUDA设备端断言。错误堆栈显示问题出现在_make_causal_mask函数中，当尝试创建一个全填充张量时失败。这种错误通常与以下几种情况相关：

1. 显存不足
2. 数据类型不匹配
3. 设备间数据传输问题
4. 模型文件损坏或不完整

深入排查过程

开发者首先怀疑是显存问题，因为20B参数模型确实需要大量显存。但测试发现：

• 使用单卡时出现错误
• 添加device_map="auto"参数启用多卡(8卡)后，错误依然存在
• 同样的环境运行InternLM2-chat-7b模型则完全正常

这表明问题并非简单的显存不足，而是与模型特定配置或文件相关。

根本原因

经过仔细检查，发现问题源于模型目录中残留的旧版tokenizer.json文件。这个文件并非InternLM2模型运行所必需，但当Transformers库版本升级到4.34+后，会以不同方式处理这个文件，导致CUDA设备端断言错误。

解决方案

1. 删除冗余文件：清理模型目录中的tokenizer.json文件
2. 版本控制：
   • 暂时回退到Transformers 4.33.0版本
   • 或升级到修复此问题的新版本
3. 环境检查：确保模型目录只包含必要的文件

经验总结

1. 模型文件管理：模型目录应保持干净，移除不必要的中间文件
2. 版本兼容性：大版本升级时需全面测试，特别是对于大模型应用
3. 错误诊断：CUDA设备端错误需要系统性地排除各种可能性
4. 社区协作：通过开源社区反馈和解决问题能有效提高效率

这个问题展示了深度学习工程中版本管理和文件完整性的重要性，提醒开发者在模型部署和维护过程中需要注意细节。