Qwen-VL项目中LoRA训练与全参数保存的技术实现

背景介绍

在大型语言模型微调过程中，LoRA（Low-Rank Adaptation）是一种高效且节省资源的参数微调方法。它通过在原始模型参数旁添加低秩矩阵来实现微调，而不改变原始模型参数。然而，在某些应用场景下，开发者可能希望在LoRA训练的同时保留完整模型的参数更新能力。

LoRA训练的基本原理

LoRA技术通过在Transformer层的注意力机制中引入两个低秩矩阵（通常记为A和B）来实现微调。在标准实现中，训练完成后只保存这些低秩适配器的权重，原始模型参数保持不变。这种方法的优势在于：

1. 显著减少需要训练的参数数量
2. 便于模型切换和部署
3. 节省存储空间

全参数保存的需求场景

在某些特殊情况下，开发者可能需要：

1. 同时微调LoRA适配器和部分原始模型参数
2. 保留完整的模型状态而不仅仅是适配器
3. 实现更灵活的模型组合和迁移

技术实现方案

方案一：手动参数保存与加载

通过遍历模型的所有可训练参数，开发者可以手动保存这些参数到文件：

to_save = {
    f"{name}.{param_name}": param.detach().cpu() 
    for name, module in model.named_modules() 
    for param_name, param in module.named_parameters() 
    if param.requires_grad
}
torch.save(to_save, 'output_dir/lora_adapter_model.pth')

加载时则需要先加载基础模型，再加载保存的参数：

saved_parameters = torch.load('output_dir/lora_adapter_model.pth')
model.load_state_dict(saved_parameters, strict=False)

这种方法提供了最大的灵活性，但需要开发者对模型结构有深入了解。

方案二：使用modules_to_save参数

Qwen-VL项目提供了更简便的modules_to_save参数来实现这一需求。通过指定需要额外保存的模块，可以在LoRA训练的同时更新这些模块的参数：

# 示例配置
modules_to_save = [
    "transformer.wte",  # 词嵌入层
    "lm_head"          # 语言模型头部
]

其中：

• transformer.wte代表词嵌入层（Word Token Embeddings）
• lm_head代表语言模型的任务特定头部（Language Model Head）

关键模块解析

1. 词嵌入层（wte）：负责将输入token转换为向量表示，对模型理解输入内容至关重要。

2. 语言模型头部（lm_head）：将隐藏状态转换为词汇表上的概率分布，直接影响模型的生成质量。

通过微调这些关键模块，可以在保持LoRA高效性的同时，获得更精细的控制能力。

实际应用建议

1. 对于大多数场景，标准LoRA训练已经足够
2. 当需要调整模型的基础表示能力时，可考虑添加词嵌入层
3. 当生成质量需要特别优化时，可包含语言模型头部
4. 全参数保存会显著增加存储需求，应谨慎使用

总结

Qwen-VL项目提供了灵活的参数微调方案，开发者可以根据具体需求选择纯LoRA训练或结合部分原始参数更新的混合模式。通过合理配置modules_to_save参数，可以在资源消耗和模型性能之间取得平衡。