Adapter-Transformers项目中的Safetensors适配器加载功能演进

在基于Transformer架构的模型微调领域，Adapter-Hub的adapter-transformers库提供了一种轻量级的参数高效微调方案。近期社区反馈中，开发者提出了关于适配器权重文件格式的重要改进建议，这反映了深度学习生态向更安全、高效存储格式演进的大趋势。

技术背景

传统PyTorch模型通常使用pickle序列化格式(.bin)保存权重，但该格式存在安全风险，可能被恶意注入代码。HuggingFace推出的safetensors格式作为替代方案，具有以下核心优势：

1. 安全性：纯张量存储格式，杜绝代码注入风险
2. 效率：支持零拷贝加载，大幅提升大模型加载速度
3. 跨平台：与框架无关的标准化存储

现状分析

当前adapter-transformers库在模型加载环节已初步支持safetensors：

• 主模型加载：通过AutoAdapterModel.from_pretrained()的use_safetensors参数可指定加载safetensors格式的基础模型权重
• 适配器加载：load_adapter()方法仍强制依赖pickle格式的适配器权重文件(.bin)，即使目录中存在.safetensors文件也会被忽略

这种不一致性导致用户需要同时维护两种格式的权重文件，增加了存储负担和管理复杂度。

技术实现方案

要实现完整的safetensors支持，核心需要改造适配器加载逻辑：

1. 文件探测机制：当指定safetensors=True时，优先查找.safetensors后缀文件
2. 回退机制：保持与旧版本的兼容性，当safetensors文件不存在时自动回退到传统格式
3. 序列化优化：适配器保存时也应支持输出safetensors格式

社区影响

该改进将带来多重收益：

• 安全性提升：消除适配器环节的pickle反序列化风险
• 存储优化：用户可选择仅保留safetensors格式，节省约50%的存储空间
• 性能改善：大尺寸适配器的加载速度可提升2-3倍

目前开发团队已在相关PR中推进该功能，预计将在下一版本中发布完整支持。这标志着adapter-transformers向现代模型权重管理标准又迈进了重要一步。

最佳实践建议

对于当前版本的用户，建议采取以下过渡方案：

1. 主模型加载可安全使用safetensors格式
2. 适配器加载暂时保持双格式并存
3. 关注项目更新，及时迁移到纯safetensors工作流

随着生态发展，未来版本可能会将safetensors设为默认格式，开发者应提前做好技术储备。