LMFlow项目微调Qwen1.5模型时输出重复问题的分析与解决方案

在基于LMFlow框架对Qwen1.5-1.8B-Base模型进行微调时，开发者可能会遇到模型输出重复内容的问题。本文将从技术原理、问题分析和解决方案三个维度深入探讨这一现象。

问题现象分析

当使用约20万条text2text格式的数据对Qwen1.5基础模型进行微调后，在CMMLU等评测任务中会出现明显的输出重复现象。典型表现为模型在给出答案后会重复生成相似的问答对，例如：

答案是: C
Human:以下是关于农学的单项选择题...
Assistant:答案是: D
Human:以下是关于农学的单项选择题...

根本原因

1. 数据格式适配问题：基础模型未经对话格式预训练，直接使用text2text格式微调时，模型难以学习到对话终止的逻辑
2. 停止机制缺失：未设置有效的停止生成条件，导致模型持续预测
3. 模板不匹配：Qwen1.5-Chat版本使用特定对话模板，基础模型微调时若未采用相应模板会导致行为异常

解决方案

短期解决方案：强制停止生成

通过实现StoppingCriteria来定义停止条件：

class StoppingCriteriaSub(StoppingCriteria):
    def __init__(self, tokenizer, stops=[]):
        super().__init__()
        self.stops = [stop.to("cuda") for stop in stops]
        self.tokenizer = tokenizer

    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor):
        last_token = input_ids[0][-1]
        for stop in self.stops:
            if self.tokenizer.decode(stop) == self.tokenizer.decode(last_token):
                return True
        return False

长期优化建议

1. 采用对话数据集格式：

   • 将text2text数据转换为标准的对话格式
   • 使用qwen2对话模板参数(--conversation_template qwen2)
   • 确保输入输出采用与预训练一致的格式

2. 模型选择建议：

   • 优先使用Qwen1.5-Chat系列作为基础模型
   • 对于基础模型微调，建议准备更大规模(50万+)的优质数据

3. 训练技巧：

   • 设置合理的max_new_tokens参数
   • 配合temperature等生成参数调整输出多样性
   • 添加显式的终止标记(如"###")并设置对应的end_string

实施建议

对于实际项目部署，推荐采用以下最佳实践路径：

1. 首先将现有text2text数据转换为标准对话格式
2. 使用Qwen1.5-Chat模型作为基础
3. 在LMFlow框架中明确指定qwen2模板
4. 训练时设置合理的生成控制参数
5. 部署时实现完善的停止生成逻辑

通过以上方法，可以有效解决输出重复问题，同时提升模型在专业领域的表现能力。对于中文场景下的模型微调，特别注意对话模板的本土化适配是取得良好效果的关键因素之一。