Intel Extension for PyTorch 在 Xeon CPU 上微调 Llama-2-7B 模型的问题分析与解决方案

问题背景

在使用 Intel Extension for Pyytorch (IPEX) 在 Intel Xeon Platinum 8480+ 处理器上微调 Llama-2-7B 模型时，开发者遇到了一个关键错误。该问题出现在执行微调脚本时，系统报告无法找到权重属性，具体表现为"no attribute weight"错误。

环境配置

该问题出现在以下典型环境中：

• 硬件：双路 Intel Xeon Platinum 8480+ 处理器（共224核）
• 操作系统：Ubuntu 22.04 LTS
• 软件栈：
  • PyTorch 2.4.1
  • Intel Extension for PyTorch 2.4.0
  • Transformers 库 4.38.1
• 模型：meta-llama/llama-2-7b-hf
• 数据集：alpaca-lora 提供的 alpaca_data.json

问题分析

经过深入调查，发现问题根源在于微调脚本中的状态字典处理逻辑。具体来说，脚本中使用了以下代码片段：

model.state_dict = (
    lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict())
).__get__(model, type(model))

这段代码修改了模型默认的state_dict方法，导致在保存权重时出现了层级结构问题。原本应该访问的lora_A.default.weight路径被简化为lora_A.weight，从而触发了属性不存在的错误。

技术细节

在LoRA（Low-Rank Adaptation）微调中，模型的结构包含多个特殊层：

• base_layer：基础线性层
• lora_dropout：LoRA特有的dropout层
• lora_A/lora_B：LoRA特有的低秩适配矩阵

这些层在IPEX优化后会转换为_IPEXLinear类型，但仍需保持原有的层级访问路径。原脚本中的state_dict重写破坏了这一结构，导致权重访问失败。

解决方案

针对这一问题，我们推荐采用以下两种解决方案：

方案一：修改state_dict处理逻辑

完全移除原脚本中对state_dict方法的修改，转而使用标准的PEFT模型保存方式。这样可以保持原有的层级结构不变。

方案二：使用SavePeftModelCallback回调

实现一个自定义的TrainerCallback，在保存检查点时专门处理PEFT模型的保存：

from transformers import TrainerCallback

class SavePeftModelCallback(TrainerCallback):
    def on_save(self, args, state, control, **kwargs):
        checkpoint_folder = f"{args.output_dir}/checkpoint-{state.global_step}"
        peft_model_path = f"{checkpoint_folder}/adapter_model"
        kwargs["model"].save_pretrained(peft_model_path)
        
        pytorch_model_path = f"{checkpoint_folder}/pytorch_model.bin"
        if os.path.exists(pytorch_model_path):
            os.remove(pytorch_model_path)
        return control

然后在创建Trainer时添加这个回调：

trainer = transformers.Trainer(
    ...,
    callbacks=[SavePeftModelCallback]
)

实施验证

在实际环境中验证了修改后的脚本，确认可以：

1. 正常启动训练过程
2. 在每个检查点正确保存模型状态
3. 完整保留LoRA适配层的权重信息
4. 维持原有的训练性能

最佳实践建议

对于在Intel Xeon平台上使用IPEX进行大模型微调，我们建议：

1. 使用最新版本的IPEX和配套软件栈
2. 仔细检查模型保存逻辑，特别是使用PEFT时
3. 对于LoRA微调，优先使用专门的保存回调
4. 定期验证检查点的完整性和可用性
5. 监控训练过程中的内存使用情况，适当调整批处理大小

总结

在Intel架构上微调大型语言模型时，正确处理模型状态保存是关键。通过理解IPEX与PEFT的交互方式，并采用适当的保存策略，可以确保训练过程的稳定性和模型权重的正确保存。本文提供的解决方案已在生产环境中验证有效，可供类似场景参考。