Unsloth项目中保存和加载多模态大模型时的常见问题解析

问题背景

在使用Unsloth项目对多模态大语言模型(LLM)进行微调后，开发者在尝试保存和加载模型时遇到了几个关键问题。这些问题主要出现在使用save_pretrained_merged和push_to_hub_merged方法时，导致模型无法正确加载和使用。

主要问题表现

1. 文件缺失问题：保存模型时缺少多个关键配置文件，包括：

   • tokenizer.json
   • tokenizer_config.json
   • special_tokens_map.json
   • model.safetensors.index
   • preprocessor_config.json
   • chat_template.json

2. 加载错误：尝试加载保存的模型时出现错误提示："Supplied state dict for vision_model.global_transformer.layers.0.mlp.fc1.weight does not contain bitsandbytes__* and possibly other quantized_stats components"，这表明量化相关参数丢失。

技术分析

文件缺失原因

当前Unsloth的保存机制存在以下流程缺陷：

1. 仅保存tokenizer和模型配置到文件夹
2. 将文件夹推送到Hub
3. 仅下载原始模型的safetensor文件
4. 应用LoRA修改后单独推送每个修复的safetensor文件

这种实现方式导致原始模型的其他支持文件没有被包含在最终输出中，从而造成文件缺失问题。

量化加载错误

错误信息表明模型在保存过程中丢失了量化相关的统计信息(quantized_stats)，特别是bitsandbytes__*参数。这通常发生在：

• 动态量化过程中参数保存不完整
• 模型状态字典转换时量化参数被忽略
• 不同量化方案间的兼容性问题

解决方案

临时解决方案

开发者发现可以手动从原始模型复制缺失的文件来解决大部分问题，但safetensors.index文件仍可能缺失，且量化错误依然存在。

预期官方修复

项目维护者已确认这是一个需要修复的问题，计划改进保存机制以确保：

1. 完整下载原始模型的所有相关文件
2. 正确处理量化参数的保存和加载
3. 确保所有配置文件被正确包含在最终输出中

最佳实践建议

在使用Unsloth进行模型微调和保存时，建议：

1. 检查保存后的模型是否包含所有必要文件
2. 对于量化模型，验证量化参数是否被正确保存
3. 考虑备份原始模型文件以便手动修复
4. 关注项目更新以获取修复版本

总结

Unsloth项目在保存合并后的多模态大模型时存在文件缺失和量化参数保存问题，这会影响模型的后续加载和使用。开发者需要了解这些问题并采取相应措施，同时期待官方修复能彻底解决这些问题。对于依赖量化功能的用户，建议暂时谨慎使用相关保存功能，或采用手动补充文件的方式作为临时解决方案。