QwenLM/Qwen项目微调模型保存失败问题分析与解决

问题背景

在使用QwenLM/Qwen项目进行模型微调时，用户遇到了一个典型的问题：在训练完成后保存模型时出现网络连接错误。这个问题在单卡和多卡环境下都会出现，表现为系统尝试连接Hugging Face服务器获取配置文件时失败。

错误现象分析

从错误日志中可以清晰地看到，系统在保存模型时尝试访问Hugging Face服务器获取config.json文件，但由于网络不可达导致操作失败。具体表现为：

1. 训练过程正常完成，损失值逐步下降
2. 在保存阶段出现NewConnectionError，提示网络不可达
3. 错误最终导致保存操作失败，训练过程中断

根本原因

这个问题源于Hugging Face库的一个设计特性：在保存Peft模型时，系统会默认检查远程配置文件是否存在。即使用户已经本地化了模型权重，保存过程仍然会尝试连接Hugging Face服务器进行验证。

解决方案

经过技术分析，有以下几种可行的解决方案：

1. 设置镜像源（推荐方案）： 在运行训练脚本前设置环境变量：

   export HF_ENDPOINT=https://hf-mirror.com
   

   这将使系统使用国内镜像源而非直接连接Hugging Face主站。

2. 完全离线模式： 对于需要完全离线工作的环境，可以预先下载所有必需文件到本地，然后修改代码跳过远程检查。但这需要对Peft库有较深理解。

3. 网络配置调整： 确保训练环境能够正常访问Hugging Face服务器，但这在某些内网环境中可能不可行。

技术细节

当使用Peft进行模型微调时，save_pretrained方法会调用get_peft_model_state_dict函数，该函数内部会检查远程配置文件是否存在。这一设计虽然保证了配置的完整性，但在网络受限环境下带来了不便。

最佳实践建议

1. 对于国内用户，始终建议设置HF镜像源环境变量
2. 在开始训练前，先测试模型保存功能
3. 对于生产环境，考虑构建本地模型缓存
4. 保持Hugging Face相关库的更新，以获取最新的网络处理优化

总结

QwenLM/Qwen项目在模型保存时的网络依赖是一个常见但容易被忽视的问题。通过理解其背后的机制并采取适当的配置调整，可以确保训练流程的顺利完成。这一问题的解决不仅适用于Qwen项目，对于其他基于Hugging Face生态的模型训练同样具有参考价值。