LLaMA-Factory项目中DeepSeek-R1-Distill-Qwen模型SFT训练时的Chat模板问题分析

在LLaMA-Factory项目中使用DeepSeek-R1-Distill-Qwen系列模型进行监督微调(SFT)时，发现了一个值得注意的Chat模板不一致问题。这个问题可能会影响模型在推理阶段的生成质量，导致出现不期望的幻觉输出。

问题背景

DeepSeek-R1-Distill-Qwen是DeepSeekAI基于Qwen架构蒸馏得到的一系列模型。在进行SFT训练时，项目代码中采用的对话模板(chat_template)是"deepseek3"格式，该模板在结尾处没有包含<think>标签。然而，HuggingFace模型库在2月9日的更新中，修改了tokenizer_config.json文件中的chat_template配置，新增了这个<think>标签。

技术细节分析

这种模板不一致会导致两个主要问题：

1. 训练与推理阶段模板不匹配：模型在SFT训练时学习的是不带<think>标签的对话格式，但在实际推理时，如果使用HuggingFace提供的tokenizer配置，会强制添加这个标签，造成输入分布不匹配。

2. 生成质量下降：特别是当设置add_generation_promp=True时，模型可能会产生不相关的输出，如观察到"以好开头"这样的幻觉文本。

解决方案建议

根据仓库所有者的确认，官方提供的chat_template配置并不完全准确。建议在实际使用中：

1. 在SFT训练阶段，明确指定使用不带<think>标签的对话模板
2. 在推理阶段，可以手动修改tokenizer的chat_template配置，移除<think>标签
3. 或者统一使用项目代码中提供的"deepseek3"模板格式

对模型性能的影响

这种模板不一致虽然看似是一个小问题，但实际上会影响模型在以下几个方面的表现：

• 对话连贯性：模型可能会因为意外的模板标签而中断正常的对话流程
• 生成稳定性：增加产生无关文本或重复内容的概率
• 意图理解：可能干扰模型对用户真实意图的捕捉

最佳实践

对于使用LLaMA-Factory项目进行DeepSeek-R1-Distill-Qwen系列模型微调的用户，建议：

1. 始终检查并确认训练和推理阶段使用的chat_template一致性
2. 在模型配置文件中明确指定对话模板格式
3. 在模型部署前，进行充分的对话测试以验证模板配置的正确性
4. 关注官方模型库的更新日志，及时调整相关配置

通过正确处理chat_template问题，可以确保模型在训练和推理阶段的行为一致性，从而提高最终应用中的对话质量和用户体验。