adapter-transformers项目中T5模型的LoRA并行组合前向传播Bug分析

在adapter-transformers项目的最新版本中，我们发现了一个关于T5模型使用LoRA并行适配器时的前向传播Bug。这个Bug会导致在多个LoRA适配器并行组合使用时出现张量形状不匹配的问题，而单独使用单个适配器时则能正常工作。

问题现象

当开发者在Flan-T5-base模型上同时激活多个LoRA适配器进行并行组合时，模型的前向传播会抛出RuntimeError异常，提示张量形状不匹配。具体表现为：

• 在计算注意力分数时，query张量的形状为[1,12,700,64]
• key张量的形状为[1,12,140,64]
• 其中700是140（序列长度）乘以5（并行适配器数量）的结果

这种形状不匹配导致无法正确计算注意力分数，最终引发运行时错误。

技术背景

LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，它通过向模型注入低秩矩阵来实现参数高效微调。在adapter-transformers项目中，开发者可以通过并行组合机制同时使用多个适配器，这在多任务学习等场景下非常有用。

T5模型采用编码器-解码器架构，其自注意力机制需要计算query和key的点积来得到注意力分数。正常情况下，query和key的形状应该匹配，或者至少在某些维度上可以广播。

问题根源分析

通过深入分析错误堆栈和代码实现，我们发现问题的根源在于：

1. 当使用并行适配器时，输入张量会在适配器维度上被复制扩展
2. 但在计算注意力时，key张量没有相应地进行扩展
3. 导致query张量的序列长度维度变为原始长度的N倍（N为并行适配器数量）
4. 而key张量保持原始序列长度，无法匹配

具体来说，在T5AttentionWithAdapters类的forward方法中，当计算scores += position_bias_masked时，两个张量的形状不兼容。

解决方案

正确的实现应该是：

1. 在并行适配器模式下，确保所有参与注意力计算的张量都正确扩展了适配器维度
2. 或者保持原始序列长度不变，在适配器维度上进行并行计算
3. 需要统一query、key和position_bias的张量形状处理逻辑

影响范围

该Bug影响所有使用以下配置的用户：

• T5系列模型（包括Flan-T5）
• 使用LoRA适配器
• 通过Parallel组合多个适配器
• 进行前向传播计算

临时解决方案

在官方修复发布前，用户可以：

1. 避免使用并行适配器组合，改为逐个使用单个适配器
2. 或者手动修改模型代码，确保注意力计算时的张量形状一致

总结

这个Bug揭示了在实现复杂适配器组合时，需要特别注意张量形状在不同层间的传递一致性。特别是在并行计算模式下，需要确保所有相关操作都能正确处理扩展后的张量维度。对于使用adapter-transformers进行多适配器实验的研究人员和开发者，建议关注该问题的修复进展，以确保实验结果的准确性。