XTuner微调过程中评估样例循环问题的分析与解决

问题背景

在使用XTuner对InternLM2-chat-1.8B模型进行微调时，开发人员发现了一个值得关注的现象：在训练过程中的阶段性评估环节，模型生成的回答容易出现循环重复的问题。这种现象在菜谱生成等结构化文本输出任务中尤为明显。

现象描述

在微调过程中，开发人员设置了每500次迭代进行一次评估，评估输入包括"酸菜鱼怎么做"、"过桥米线怎么做"等菜谱生成请求。观察发现：

1. 前500次迭代评估时，模型能生成相对正常的回答
2. 501-1000次迭代后，评估输出开始出现明显的循环重复现象
3. 到6000次迭代左右，循环问题变得更加严重

有趣的是，当使用xtuner chat命令手动测试时，如果设置了重复惩罚(repetition penalty)参数，模型仍然能够生成正常的回答。这表明循环问题可能与评估时的生成参数设置有关。

问题分析

经过深入分析，发现循环重复问题主要由以下因素导致：

1. 评估时缺乏重复惩罚机制：XTuner默认的EvaluateChatHook在评估时没有设置重复惩罚参数(repetition_penalty)，该参数默认为1，意味着对重复内容没有任何惩罚。

2. 结构化文本的固有特性：菜谱等结构化文本本身具有较高的重复性，如步骤编号、常用烹饪动词等，这使得模型更容易陷入重复循环。

3. 微调数据的影响：如果微调数据中存在某些模式或重复结构，模型可能会过度学习这些模式，导致生成时倾向于重复。

解决方案

XTuner团队已经通过PR#501提供了解决方案，允许在评估时自定义生成参数。具体实现方式如下：

1. 修改评估配置：在config文件中，可以为EvaluateChatHook添加generation_kwargs参数，设置包括max_new_tokens、repetition_penalty等在内的各种生成参数。

2. 示例配置修改：

custom_hooks = [
    dict(type=DatasetInfoHook, tokenizer=tokenizer),
    dict(
        type=EvaluateChatHook,
        tokenizer=tokenizer,
        generation_kwargs={'repetition_penalty': 1.5, 'max_new_tokens': 512},
        every_n_iters=evaluation_freq,
        evaluation_inputs=evaluation_inputs,
        system=SYSTEM,
        prompt_template=prompt_template)
]

3. 高级定制：对于需要更复杂评估的场景，可以扩展EvaluateChatHook以支持：
   • 多个不同的生成配置同时评估
   • 动态调整生成参数
   • 对不同类型的问题应用不同的生成策略

最佳实践建议

1. 合理设置重复惩罚：对于菜谱生成等任务，建议repetition_penalty设置在1.2-1.5之间，可根据实际效果调整。

2. 多样化评估：可以设置多组generation_kwargs，从不同角度评估模型性能。

3. 监控训练过程：除了自动评估外，建议定期手动检查模型输出，全面了解模型表现。

4. 数据质量检查：确保微调数据中没有过多的重复模式，这有助于从根本上减少模型学习到重复倾向。

技术原理深入

重复惩罚机制的工作原理是通过降低已经生成token的采样概率来避免重复。具体来说：

1. 在生成每个新token时，系统会检查已生成文本中的token频率
2. 对于出现过的token，会根据重复惩罚系数降低其采样概率
3. 惩罚系数大于1时会抑制重复，小于1时则会鼓励重复

这种机制能有效打破模型在生成结构化文本时容易陷入的重复循环，同时保持生成的连贯性。

总结

XTuner微调过程中的评估循环问题主要源于评估时缺乏适当的生成参数控制。通过合理配置generation_kwargs，特别是设置适当的重复惩罚参数，可以有效解决这一问题。这为开发者在模型微调过程中获得更准确的评估结果提供了可靠的方法。