ChatGLM3微调后推理时NotImplementedError问题分析与解决方案

问题背景

在使用ChatGLM3进行LoRA微调后，许多开发者在尝试运行推理脚本时遇到了NotImplementedError异常。这个问题主要出现在加载微调后的模型进行推理时，系统提示set_input_embeddings方法未实现。本文将深入分析该问题的成因，并提供多种可行的解决方案。

问题现象

当开发者使用finetune_demo/finetune_hf.py完成LoRA微调后，运行finetune_demo/inference_hf.py进行推理时，会遇到以下错误链：

1. 首先尝试加载微调后的模型
2. 系统自动调用resize_token_embeddings方法
3. 该方法内部尝试调用set_input_embeddings
4. 最终抛出NotImplementedError异常

根本原因分析

经过深入分析，这个问题由多个因素共同导致：

1. Peft库的自动调整机制：Peft库在加载适配器模型时，会自动检查并尝试调整token嵌入层的大小，以确保与tokenizer的词汇表大小匹配。

2. ChatGLM模型实现特殊性：ChatGLM模型没有实现标准的set_input_embeddings方法，而是使用了自定义的嵌入层实现方式。

3. 版本兼容性问题：不同版本的transformers和peft库在处理这类特殊模型时行为不一致，导致部分开发者能复现问题而部分不能。

4. 词汇表大小变化：微调过程中，tokenizer的词汇表大小可能会发生变化（从65024变为64798），触发了嵌入层调整的需求。

解决方案

方案一：修改Peft库源代码

1. 找到peft/auto.py文件（通常在Python环境的site-packages/peft目录下）
2. 修改约124行处的tokenizer加载代码，添加trust_remote_code参数传递：

# 修改前
tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path)

# 修改后
tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, **kwargs)

3. 同时可以注释掉resize_token_embeddings的调用（约126行）

方案二：为ChatGLM模型添加缺失方法

在ChatGLM3的模型实现文件（通常是modeling_chatglm.py）中，为ChatGLMModel类添加以下方法：

def set_input_embeddings(self, value):
    self.embedding.word_embeddings = value

方案三：使用特定版本组合

经过验证，以下库版本组合可以避免此问题：

• peft==0.8.1
• transformers==4.32.1

可以通过以下命令安装特定版本：

pip install peft==0.8.1 transformers==4.32.1

技术细节解析

为什么会出现词汇表大小变化？

虽然tokenizer.model文件没有变化，但微调过程中可能会对特殊token进行处理，导致实际使用的词汇表大小发生变化。这是正常现象，不会影响模型的核心功能。

为什么部分开发者无法复现？

这主要与以下因素有关：

1. 使用的transformers和peft库版本不同
2. 是否对模型代码进行过自定义修改
3. 微调时使用的具体参数和数据集

最佳实践建议

1. 版本控制：建立明确的依赖版本控制，推荐使用requirements.txt或conda环境文件。

2. 模型检查：微调后检查adapter_config.json中的base_model_name_or_path是否正确指向原始模型。

3. 逐步验证：先验证原始模型的加载和推理，再测试微调后的模型。

4. 错误处理：在推理脚本中添加适当的错误处理和日志记录，便于问题定位。

总结

ChatGLM3微调后推理出现的NotImplementedError问题，本质上是由于模型特殊实现与Peft库标准流程之间的兼容性问题。通过本文提供的多种解决方案，开发者可以根据自己的实际情况选择最适合的方法。随着ChatGLM3和Peft库的持续更新，这个问题可能会在未来的版本中得到官方解决。在此之前，理解问题本质并掌握解决方案将有助于开发者更顺畅地使用ChatGLM3进行微调和部署。