LLM Foundry项目中LoRA权重转换的技术实践

在LLM Foundry项目中进行模型微调时，使用LoRA(Low-Rank Adaptation)技术是一种高效的方式。本文将从技术实现角度详细介绍如何在LLM Foundry项目中正确配置LoRA微调并生成适配器权重。

LoRA配置基础

在LLM Foundry的配置文件中，LoRA相关参数需要正确设置。一个典型的配置示例如下：

peft_config:
  r: 64
  peft_type: LORA
  task_type: CAUSAL_LM
  lora_alpha: 128
  lora_dropout: 0.05
  target_modules:
    - Wqkv

其中关键参数含义：

• r: LoRA的秩，决定低秩矩阵的大小
• lora_alpha: LoRA缩放因子
• lora_dropout: LoRA层的dropout率
• target_modules: 应用LoRA的目标模块列表

训练过程中的权重保存

在训练完成后，默认生成的检查点文件可能无法直接用于Hugging Face的推理流程。为了解决这个问题，LLM Foundry提供了两种解决方案：

方案一：训练时直接生成适配器权重

推荐的做法是在训练配置中添加HF检查点回调，这样可以在训练过程中直接生成Hugging Face兼容的适配器权重：

callbacks:
  hf_checkpointer: 
    save_folder: ./{run_name}/checkpoints
    save_interval: "1ep"

这种配置会在每个epoch结束时生成包含以下文件的适配器权重：

• adapter_config.json: 适配器配置信息
• adapter_model.safetensors: 适配器权重文件
• 相关的tokenizer配置文件

方案二：训练后转换权重

如果已经完成了训练但未使用HF检查点回调，可以尝试使用LLM Foundry提供的转换脚本。需要注意的是，由于项目代码变更，某些版本可能存在兼容性问题。如果遇到类似"MultiheadAttention.init() got an unexpected keyword argument 'prefix_lm'"的错误，可能需要回退到移除prefix LM功能之前的版本。

推理使用

生成的适配器权重可以方便地用于推理：

from transformers import AutoModelForCausalLM
from peft import PeftModel

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained("mosaicml/mpt-7b")

# 加载适配器权重
peft_model_id = "path_to_adapter"
model = PeftModel.from_pretrained(base_model, peft_model_id)

最佳实践建议

1. 训练前规划：如果确定需要Hugging Face兼容的权重，建议在训练配置中直接添加HF检查点回调
2. 版本控制：注意LLM Foundry不同版本间的兼容性变化
3. 参数调优：根据具体任务调整LoRA的秩(r)和alpha值，平衡模型性能和微调效果
4. 目标模块选择：针对不同模型架构，选择合适的目标模块进行适配

通过以上方法，可以高效地在LLM Foundry项目中实现LoRA微调，并生成兼容Hugging Face生态的适配器权重，便于后续的推理和应用部署。