在adapter-transformers中使用EncoderDecoderModel与适配器的技术解析

adapter-transformers项目为Hugging Face Transformers模型提供了适配器(Adapter)支持，使得用户能够在不修改原始模型参数的情况下，通过添加小型神经网络模块来实现模型功能的扩展。本文将重点探讨如何在Encoder-Decoder架构模型中使用适配器技术。

EncoderDecoderModel适配器支持问题

近期有用户反馈，在尝试按照官方文档示例使用EncoderDecoderModel时遇到了模块导入错误。具体表现为当执行以下代码时：

from transformers import EncoderDecoderModel
import adapters 

model = EncoderDecoderModel.from_encoder_decoder_pretrained("bert-base-uncased", "bert-base-uncased")
adapters.init(model)

系统会抛出"ModuleNotFoundError: No module named 'adapters.models.encoder_decoder'"错误。经项目维护者确认，这是一个意外的代码回归问题，本应正常工作的功能出现了异常。

临时解决方案

在官方修复此问题前，开发者可以采用以下替代方案：

1. 分别初始化编码器和解码器：先为编码器和解码器分别添加适配器，再组合成EncoderDecoderModel

from adapters import BertAdapterModel, BnConfig

# 初始化编码器
encoder = BertAdapterModel.from_pretrained("bert-base-uncased")
config = BnConfig(mh_adapter=True, output_adapter=True, reduction_factor=16, non_linearity="relu")
encoder.add_adapter("encoder_adapter", config=config)

# 初始化解码器
decoder = BertAdapterModel.from_pretrained("bert-base-uncased")
decoder.add_adapter("decoder_adapter", config=config)

# 组合成EncoderDecoderModel
model = EncoderDecoderModel(encoder=encoder, decoder=decoder)

2. 使用原生支持适配器的模型：如BartAdapterModel等已经内置适配器支持的模型

技术细节说明

值得注意的是，当使用AdapterModel类(如BertAdapterModel)时，不需要显式调用adapters.init()，因为这些类已经自动初始化了所有适配器功能。这种设计使得适配器的使用更加便捷。

对于EncoderDecoderModel这类复合模型，适配器的管理需要分别处理编码器和解码器部分。这意味着所有适配器相关操作(添加、加载、保存、激活等)都需要分别对编码器和解码器模型调用。

问题修复状态

项目维护团队已经确认并修复了这个问题。用户现在可以通过安装项目的主分支版本来获得修复后的功能。这一修复确保了文档中的示例代码能够正常工作，简化了在Encoder-Decoder架构中使用适配器的流程。

适配器技术为大型预训练模型提供了高效的任务适应能力，特别是在需要轻量级调整的场景下。通过本文介绍的方法，开发者可以灵活地在各种模型架构中应用这一技术。