ChatGLM3微调过程中的BatchEncoding.to()错误分析与解决方案

问题背景

在使用ChatGLM3进行模型微调时，部分用户遇到了一个较为特殊的错误信息："BatchEncoding.to() got an unexpected keyword argument 'non_blocking'"。这个错误通常出现在使用transformers库进行Lora微调的过程中，特别是在数据预处理阶段将数据转移到GPU设备时。

错误现象

从用户报告的情况来看，错误发生时系统环境通常具有以下特征：

• Python 3.12环境
• CUDA 12.1版本
• PyTorch 2.3.0版本
• transformers库版本4.41.1

错误发生时，程序会在微调过程中突然中断，并显示上述错误信息，导致微调任务无法继续进行。

原因分析

经过技术分析，这个问题的根源在于transformers库4.41.1版本中对BatchEncoding类的实现变更。BatchEncoding是transformers库中用于处理tokenizer输出的数据结构，它包含了模型输入的各种编码信息。

在较新版本的transformers中，BatchEncoding.to()方法的参数传递方式发生了变化，不再支持直接传递non_blocking参数。而ChatGLM3的微调脚本可能基于较早版本的transformers库编写，或者与其他库的版本存在兼容性问题。

解决方案

针对这个问题，目前最有效的解决方案是：

1. 将transformers库版本降级到4.40.0版本。这个版本经过验证与ChatGLM3的微调脚本兼容性良好。

降级命令示例：

pip install transformers==4.40.0

2. 如果希望保持较新版本的transformers库，可以尝试修改微调脚本中与BatchEncoding相关的部分代码，移除non_blocking参数的传递。

预防措施

为了避免类似问题，建议在进行ChatGLM3微调前：

1. 仔细检查各依赖库的版本兼容性
2. 参考官方文档推荐的版本组合
3. 在虚拟环境中进行测试和验证
4. 保持开发环境与生产环境的一致性

总结

版本兼容性问题是深度学习项目开发中的常见挑战。ChatGLM3微调过程中遇到的BatchEncoding.to()错误提醒我们，在升级依赖库时需要谨慎评估其对现有代码的影响。通过合理控制版本或调整代码，可以有效解决这类问题，确保模型微调工作的顺利进行。