Chinese-LLaMA-Alpaca-2项目中LoRA微调模块大小异常问题分析

在Chinese-LLaMA-Alpaca-2项目实践中，部分开发者遇到了LoRA微调模块大小异常的问题。具体表现为训练后保存的LoRA模块文件大小仅为48B，这显然不符合预期。本文将深入分析该问题的成因及解决方案。

问题现象

开发者在执行预训练任务时，使用项目提供的标准训练脚本，配置了合理的LoRA参数：

• LoRA秩(lora_rank)设为8
• LoRA缩放因子(lora_alpha)设为32
• 可训练模块包括q_proj、v_proj等关键投影层
• 额外保存embed_tokens和lm_head模块

然而训练完成后，生成的LoRA模块文件大小异常，仅有48字节，远小于预期值。

根本原因分析

经过技术排查，发现问题源于训练脚本中的一段特殊代码处理。原脚本中通过重写state_dict方法来实现Peft模型状态的获取，这段代码虽然在某些场景下有用，但在当前配置中会导致模型状态保存异常。

具体来说，脚本中以下代码段影响了模型权重的正常保存：

# old_state_dict = model.state_dict
# model.state_dict = (
#     lambda self, *_, **__: get_peft_model_state_dict(self, old_state_dict())
# ).__get__(model, type(model))

解决方案

解决该问题的方法相对简单：注释掉上述代码段即可。这一修改允许模型按照标准流程保存完整的LoRA权重，而不会受到额外状态字典处理逻辑的影响。

修改后，LoRA模块将正常保存，文件大小会恢复到预期值，包含所有训练得到的适配器参数。这对于后续的模型推理和应用至关重要。

技术建议

1. 在进行LoRA微调时，建议开发者：

   • 仔细检查模型保存后的文件大小
   • 验证保存的权重是否包含预期的参数
   • 对比不同配置下的输出结果

2. 对于Chinese-LLaMA-Alpaca-2项目：

   • 保持代码更新，及时同步最新修复
   • 关注项目文档中的已知问题说明
   • 在社区中分享遇到的问题和解决方案

该问题的解决体现了开源项目中常见的情况：特定配置下的边缘案例可能导致非预期行为。通过社区协作和经验分享，这类问题能够得到快速定位和解决。