PEFT项目中的past_key_values元组支持弃用问题解析

背景介绍

在Hugging Face的PEFT(Parameter-Efficient Fine-Tuning)项目中，近期出现了一个与Transformer模型缓存机制相关的重要变更。这个变更涉及到模型在处理过去键值(past_key_values)时的数据结构变化，将对所有提示学习(prompt learning)方法产生影响。

问题本质

问题的核心在于Transformer库将不再支持将past_key_values作为元组(tuple)处理，而是要求使用专门的Cache对象。这一变更源于Transformer库内部对缓存机制的改进和重构。

技术细节

在之前的实现中，PEFT项目中的提示学习方法(如prefix tuning)依赖于将past_key_values作为元组来处理。具体来说，在PeftModel类的get_prompt方法中，会生成虚拟提示(virtual prompts)并将其存储在past_key_values中。

随着Transformer库的更新，缓存机制发生了以下重要变化：

1. 移除了对get_seq_length()方法的支持
2. 不再自动将缓存转换为元组对象
3. 引入了新的Cache类作为标准缓存数据结构

影响范围

这一变更将影响所有使用提示学习方法的场景，特别是：

• 前缀调优(Prefix Tuning)
• 提示调优(Prompt Tuning)
• 多任务提示调优(Multitask Prompt Tuning)

临时解决方案

在官方修复发布前，开发者可以采用以下临时解决方案：

from transformers import DynamicCache

# 在get_prompt方法中，将生成的past_key_values转换为Cache对象
past_key_values = DynamicCache.from_legacy_cache(past_key_values)

长期解决方案

从长远来看，PEFT项目需要重构提示学习的实现方式，主要考虑以下方向：

1. 训练阶段：

• 不再使用past_key_values传递虚拟提示
• 改为使用前向钩子(pre-forward hook)或重写forward方法注入虚拟嵌入

2. 生成阶段：

• 仍需要使用缓存机制
• 但需要适配新的Cache对象标准

开发者建议

对于正在使用PEFT提示学习功能的开发者，建议：

1. 关注PEFT项目的更新动态
2. 在升级Transformer库版本时进行充分测试
3. 考虑逐步迁移到新的缓存机制
4. 对于关键应用，暂时固定库版本以避免兼容性问题

总结

这一变更反映了深度学习框架不断演进优化的过程。虽然短期内会带来一些适配工作，但从长期看，新的缓存机制将提供更好的性能和更清晰的接口。PEFT团队正在积极解决这一问题，开发者可以关注后续的官方更新和迁移指南。