XTuner项目中导出微调模型为safetensors格式的方法

在XTuner项目中进行模型微调后，许多开发者会遇到模型导出格式的问题。默认情况下，XTuner会将微调后的模型导出为多个.bin文件，但在实际应用中，我们可能更希望获得.safetensors格式的模型文件。

safetensors格式的优势

safetensors是一种新兴的模型序列化格式，相比传统的PyTorch二进制格式具有以下优势：

1. 安全性更高：可以防止恶意代码执行
2. 加载速度更快：特别适合大型模型
3. 跨平台兼容性更好
4. 内存映射支持：可以部分加载模型权重

导出safetensors格式的具体方法

在XTuner项目中，要导出safetensors格式的模型，需要在导出命令中添加--safe-serialization参数。这个参数会指示XTuner使用safetensors库而不是默认的PyTorch序列化方法。

例如，对于ChatGLM3模型的导出，原本的命令可能是：

xtuner convert pth_to_hf ...

修改为：

xtuner convert pth_to_hf ... --safe-serialization

实现原理

在底层实现上，XTuner使用了Hugging Face的transformers库的模型保存功能。当指定--safe-serialization参数时，会调用safetensors库而不是PyTorch的torch.save()方法来序列化模型权重。

注意事项

1. 确保安装了最新版本的safetensors库（可通过pip安装）
2. 某些旧版本模型可能不完全支持safetensors格式
3. 导出的safetensors文件可以与原始.bin文件共存
4. 使用safetensors格式不会影响模型性能或精度

总结

XTuner项目通过简单的命令行参数就支持了safetensors格式的导出，这为模型部署和应用提供了更多灵活性。开发者可以根据实际需求选择最适合的模型序列化格式，在安全性和性能之间取得平衡。