ChatGLM3微调后推理报错NotImplementedError问题分析与解决方案

问题背景

在使用ChatGLM3进行LoRA微调后，许多开发者在尝试使用inference_hf.py脚本进行推理时遇到了NotImplementedError错误。这个问题主要出现在加载微调后的模型权重文件时，具体报错位置在set_input_embeddings方法处。

错误现象

当开发者执行以下步骤时会出现问题：

1. 使用finetune_hf.py脚本成功完成LoRA微调，生成模型权重文件
2. 尝试使用inference_hf.py脚本进行推理
3. 程序在加载模型时抛出NotImplementedError异常

错误信息表明模型缺少set_input_embeddings方法的实现，导致无法正常加载微调后的权重。

问题根源分析

经过深入调查，这个问题主要由以下几个因素导致：

1. PEFT库版本兼容性问题：当使用peft>=0.8.0版本时会出现此问题，而peft==0.7.0版本则能正常工作。这是由于新版本PEFT库的行为变更导致的。

2. 模型类方法缺失：ChatGLMModel类中确实缺少set_input_embeddings方法的实现，这是Hugging Face模型接口规范要求的方法。

3. Transformers版本影响：虽然最初怀疑是Transformers版本问题，但实际测试表明这与Transformers库版本关系不大。

解决方案

方案一：修改模型代码（推荐）

在ChatGLM3的modeling_chatglm.py文件中，为ChatGLMModel类添加set_input_embeddings方法实现：

def set_input_embeddings(self, value):
    self.embedding.word_embeddings = value

这个方法应该添加在get_input_embeddings方法之后，get_prompt方法之前的位置。

方案二：降级PEFT库版本

将peft库降级到0.7.0版本可以避免此问题：

pip install peft==0.7.0

方案三：使用替代推理方式

如果暂时不想修改代码，可以使用以下Python代码进行推理：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("your_finetune_model_path", trust_remote_code=True)
model = AutoModel.from_pretrained("your_finetune_model_path", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

技术细节说明

1. LoRA微调速度问题：有开发者提到LoRA微调速度很快（约5分钟），这是正常现象。LoRA作为一种参数高效微调方法，只训练少量参数，因此速度比全参数微调快很多。

2. 模型加载机制：当使用PEFT进行微调后，模型加载时需要正确处理基础模型和适配器权重的关系。set_input_embeddings方法是这个过程中的关键环节。

3. 版本兼容性：深度学习生态中库的快速迭代常常带来兼容性问题，保持关键库版本的稳定性是避免此类问题的有效方法。

最佳实践建议

1. 在开始微调前，确认环境中的关键库版本：

   • peft: 0.7.0
   • transformers: 4.36+

2. 对于生产环境，建议采用方案一（修改模型代码），因为它不依赖特定库版本，具有更好的可移植性。

3. 定期检查项目仓库的更新，官方可能会在未来版本中修复此问题。

通过以上分析和解决方案，开发者应该能够顺利解决ChatGLM3微调后推理报错的问题，并继续进行模型部署和应用开发工作。