PEFT项目中LoRA配置任务类型参数的正确使用方式

在PEFT（Parameter-Efficient Fine-Tuning）项目中使用LoRA（Low-Rank Adaptation）进行模型微调时，开发者需要特别注意任务类型（TaskType）参数的配置。近期社区反馈的一个典型问题揭示了在使用QUESTION_ANS任务类型时容易出现的配置误区。

问题本质

当开发者尝试为问答任务配置LoRA时，文档中显示的"QUESTION_ANS"枚举值与实际可用的枚举值存在差异。测试表明：

• 使用"QUESTION_ANS"会导致属性错误
• 而使用"QUESTION_ANSWERING"则可以正常工作
• 其他任务类型如"CASUAL_LM"则无此问题

正确的配置方式

经过PEFT核心团队验证，正确的配置应使用TaskType.QUESTION_ANS枚举值。以下是经过验证可正常工作的配置示例：

from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForQuestionAnswering

model = AutoModelForQuestionAnswering.from_pretrained("facebook/opt-125m")

config = LoraConfig(
    r=32,
    lora_alpha=64,
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj", "lm_head"
    ],
    bias="none",
    lora_dropout=0.05,
    task_type=TaskType.QUESTION_ANS  # 这是正确的枚举值
)

model = get_peft_model(model, config)
model.print_trainable_parameters()

技术细节解析

1. 枚举值选择：PEFT内部实现中，QUESTION_ANS是标准枚举值，而QUESTION_ANSWERING是兼容性选项

2. 模型初始化：必须使用AutoModelForQuestionAnswering加载基础模型，与任务类型匹配

3. 参数统计：print_trainable_parameters()是模型实例方法，不能直接作为函数调用

最佳实践建议

1. 始终参考最新版本文档中的枚举值定义
2. 在更改任务类型时，确保基础模型架构与任务匹配
3. 使用model.print_trainable_parameters()方法监控可训练参数比例
4. 对于问答任务，典型可训练参数占比约为1.39%（以OPT-125M为例）

通过正确配置任务类型参数，开发者可以充分利用PEFT框架实现高效的模型微调，特别是在问答任务场景下。这一经验也提醒我们，在使用开源框架时需要仔细核对API文档与实际行为的一致性。