PEFT项目中Gemma模型软提示调优的维度不匹配问题分析

在PEFT（Parameter-Efficient Fine-Tuning）框架下对Gemma-2B模型进行软提示调优时，开发人员遇到了一个关键的张量维度不匹配问题。这个问题揭示了深度学习模型调优过程中值得关注的技术细节。

问题现象

当使用PromptTuningConfig对Gemma-2B模型进行软提示调优时，在文本生成阶段会出现RuntimeError。具体表现为在拼接注意力掩码时，系统期望两个张量具有相同的维度数，但实际获得的维度分别为2和4。

技术背景

软提示调优是一种参数高效的微调方法，它通过添加可训练的前缀标记（virtual tokens）来调整模型行为，而不需要修改原始模型的大量参数。在PEFT框架中，PromptTuningConfig配置了20个虚拟标记用于调优。

问题根源分析

深入研究发现，问题出在注意力掩码的维度处理上：

1. 基础模型prepare_inputs_for_generation方法返回了4维的注意力掩码，形状为[1,1,8,49]

   • 其中49对应于max_length-1
   • 8代表输入文本的token数量

2. 而软提示调优生成的prefix_attention_mask是2维的，形状为[1,20]

这种维度不匹配导致无法直接进行张量拼接操作。值得注意的是，同样的代码在其他模型（如Pythia-6.9B）上可以正常工作，因为这些模型返回的是2维注意力掩码。

解决方案建议

针对这个问题，可以考虑以下技术方案：

1. 修改PEFT框架中的拼接逻辑，使其能够处理不同维度的注意力掩码
2. 在调用基础模型的prepare_inputs_for_generation方法后，对返回的注意力掩码进行维度调整
3. 为Gemma模型实现专门的维度处理适配层

环境配置要点

出现问题的环境配置中值得注意的关键组件包括：

• PEFT 0.14.0
• Transformers 4.49.0
• PyTorch 2.6.0
• 使用bfloat16精度
• 启用了CUDA加速

总结

这个问题展示了在不同模型架构上实施参数高效微调方法时可能遇到的兼容性挑战。开发人员在采用新发布的模型进行调优时，需要特别注意模型特定的输入输出格式要求。该案例也为PEFT框架的通用性改进提供了有价值的参考。

对于深度学习实践者而言，理解这类维度不匹配问题的成因和解决方法，有助于更好地在各种模型架构上实施迁移学习和参数高效微调技术。