在Sentence Transformers中使用PEFT适配器扩展词表的技术实践

背景介绍

Sentence Transformers作为当前最流行的句子嵌入模型框架，在v3.3.0版本中增加了对PEFT(Parameter-Efficient Fine-Tuning)的支持。PEFT技术允许用户通过添加少量可训练参数来微调大型语言模型，显著降低了训练成本。然而，当需要扩展模型词表并同时使用PEFT时，会遇到一些技术挑战。

问题核心

在实际应用中，我们经常需要为特定领域添加新的词汇标记(token)。标准的流程是：

1. 通过tokenizer.add_tokens()添加新token
2. 使用resize_token_embeddings()调整模型嵌入层大小

但当结合PEFT使用时，保存和加载模型会出现以下问题：

• 直接保存的模型无法正确加载，提示嵌入层形状不匹配
• 分别保存适配器和tokenizer后重建模型，编码结果不一致

技术原理分析

PEFT适配器设计时假设基础模型的维度保持不变，它只对现有维度添加少量权重。当扩展词表时：

1. 基础模型的嵌入层维度发生变化
2. 但PEFT适配器仍按原始维度设计
3. 导致加载时维度不匹配

解决方案

经过深入分析，正确的实现流程应该是：

1. 首先创建并保存扩展词表后的基础模型：

model = SentenceTransformer("all-MiniLM-L6-v2")
model.tokenizer.add_tokens(new_tokens)
model[0].auto_model.resize_token_embeddings(len(model.tokenizer))
model.save_pretrained("resized_base_model")

2. 然后基于扩展后的基础模型添加PEFT适配器：

model = SentenceTransformer("resized_base_model")
peft_config = LoraConfig(...)
model.add_adapter(peft_config)

3. 训练完成后保存适配器模型：

model.save_pretrained("final_adapter_model")

4. 使用时直接加载适配器模型：

loaded_model = SentenceTransformer("final_adapter_model")

注意事项

1. 使用Trainer时，load_best_model_at_end=True选项目前与PEFT不兼容，会引发文件未找到错误
2. 添加新token后，这些token的初始嵌入是随机的，需要足够训练数据来学习
3. 不同阶段的模型保存路径应当区分清楚，避免混淆

最佳实践建议

1. 对于生产环境，建议先扩展词表并微调基础模型，再添加PEFT适配器
2. 记录每个模型版本的具体修改内容，便于后续维护
3. 测试阶段应当验证相同输入在不同阶段的编码一致性
4. 对于关键应用，考虑实现自定义的保存和加载逻辑

通过遵循上述流程，可以成功在Sentence Transformers中实现词表扩展与PEFT微调的结合，既保留了新词汇的处理能力，又享受了参数高效微调的优势。