QwenLM/Qwen项目中LoRA微调后模型文件格式的变更说明

在QwenLM/Qwen项目的最新版本中，用户在进行LoRA（Low-Rank Adaptation）微调训练时可能会注意到一个显著变化：训练完成后生成的模型文件不再是传统的adapter_model.bin格式，而是变为了adapter_model.safetensors。这一变更并非错误，而是项目为了提升模型安全性和兼容性所做的主动调整。

技术背景

自peft库（Parameter-Efficient Fine-Tuning）0.7.0版本起，开发团队对参数存储格式进行了重要升级。safetensors作为一种新兴的模型参数存储格式，相比传统的bin格式具有以下优势：

1. 安全性增强：safetensors格式在设计上改进了传统PyTorch序列化格式可能存在的潜在问题
2. 加载效率提升：该格式支持更快的模型加载速度，特别是在大型模型场景下
3. 跨平台兼容性：提供了更好的多语言支持和跨平台兼容性

用户影响与验证

对于习惯使用bin格式的用户，这一变更可能会引起短暂困惑。但需要明确的是：

1. 训练过程完全正常，adapter_model.safetensors文件包含了所有必要的微调参数
2. 该文件与原有bin文件功能完全等效，只是存储格式不同
3. 项目中的其他组件（如推理代码）已同步更新以支持新格式

用户可以通过检查训练输出目录中的文件列表来验证训练是否成功完成。除了safetensors文件外，完整的训练输出还应包含：

• adapter_config.json（适配器配置）
• tokenizer相关文件（如tokenizer_config.json）
• 训练日志和结果文件

使用建议

对于需要继续使用bin格式的特殊场景，用户可以考虑以下方案：

1. 使用peft库提供的格式转换工具将safetensors转换为bin格式
2. 在训练配置中明确指定输出格式（如果peft库支持）
3. 更新下游应用代码以直接支持safetensors格式

随着生态系统的演进，safetensors格式正在成为PyTorch生态中的新标准。QwenLM/Qwen项目采用这一格式，既是对社区最佳实践的遵循，也是为未来功能扩展所做的技术准备。

建议用户逐步适应这一变更，并检查自己的应用代码是否兼容新格式。对于确实遇到兼容性问题的场景，可以考虑在过渡期间同时维护两种格式的适配器模型，直至所有依赖组件完成升级。