LLaMA-Factory项目中Qwen2-Audio-7B模型推理终止问题解决方案

在LLaMA-Factory项目中使用Qwen2-Audio-7B模型进行LoRA微调后，许多开发者遇到了推理过程中模型无法正常停止的问题。这个问题表现为模型会持续生成无关内容、乱码或额外的文本，严重影响使用体验。

问题分析

经过技术分析，这个问题主要源于模型在推理阶段未能正确识别终止标记(token)。具体表现为：

1. 虽然训练日志显示已添加<|im_end|>作为停止词
2. 推理配置中也设置了相应的eos_token_id
3. 但模型仍然无法在预期位置停止生成

深入检查标签ID(label_ids)发现，在<|im_end|>标记后会出现一个额外的ID"198"，这可能是导致终止失败的关键因素。

解决方案

通过修改LLaMA-Factory项目的源代码可以解决此问题。具体修改位置在：

src/llamafactory/train/sft/workflow.py

需要将原有的终止标记配置：

gen_kwargs["eos_token_id"] = [tokenizer.eos_token_id] + tokenizer.additional_special_tokens_ids

修改为：

gen_kwargs["eos_token_id"] = [151645, 198]

其中：

• 151645对应<|im_end|>标记
• 198是观察到的额外终止标记

技术原理

这种修改之所以有效，是因为：

1. 明确指定了模型实际使用的终止标记ID
2. 包含了完整的终止序列（主终止标记+额外标记）
3. 避免了tokenizer自动添加的标记可能带来的冲突

验证结果

该解决方案已在多个数据集上验证有效，能够确保模型在生成完成后正确停止，不再产生无关输出。

最佳实践建议

对于使用类似架构的音频-语言模型，建议开发者：

1. 仔细检查模型的终止标记行为
2. 通过分析label_ids确认实际的终止序列
3. 必要时手动指定终止标记而非依赖自动配置
4. 在微调前后都进行充分的推理测试

这种问题在跨模态模型中较为常见，因为音频和文本的标记化过程可能存在特殊处理，需要开发者特别关注。