MedicalGPT项目中的Qwen模型微调与推理问题解析

模型微调后的异常表现分析

在MedicalGPT项目中，用户对Qwen1.5-0.5B-Chat模型进行了完整的预训练、监督微调(SFT)和直接偏好优化(DPO)流程后，在推理阶段遇到了两个典型问题：一是模型输出重复内容，二是出现关于attention mask的警告信息。

问题现象与技术背景

当用户使用自定义训练的模型进行推理时，控制台输出了关键警告："The attention mask is not set and cannot be inferred from input because pad token is same as eos token"。这一警告表明模型在处理输入时无法自动生成attention mask，因为填充标记(pad token)和结束标记(eos token)被设置为相同值。

同时，模型表现出重复生成相同内容的倾向，特别是在使用qwen2-0.5b-instruct模型时，对话会不断循环输出相同的建议，如"你可以去海边散步、冲浪、潜水、划皮艇等"。

问题根源与解决方案

经过技术分析，这些问题主要由以下因素导致：

1. 模板配置不当：原始配置中可能使用了不匹配的对话模板。Qwen系列模型需要特定的对话模板格式才能正确工作。将模板改为"qwen"后，模型恢复了正常的对话能力。

2. Attention Mask处理：警告信息反映了底层Transformer架构的一个常见问题。当pad token和eos token相同时，模型无法自动推断哪些部分是有效输入，哪些是填充部分。虽然这个警告在大多数情况下可以忽略，但在生产环境中建议显式传递attention mask以获得更可靠的结果。

3. 训练数据与超参数：重复生成问题可能与训练数据的质量或训练超参数(如temperature)设置有关。适当的温度参数可以增加输出的多样性，避免重复。

实践建议

对于在MedicalGPT项目中使用Qwen系列模型的开发者，建议采取以下最佳实践：

1. 正确配置模板：确保使用与模型架构匹配的对话模板，对于Qwen模型应明确指定template="qwen"。

2. 处理Attention Mask：在关键应用中，应显式构建和传递attention mask，特别是在处理批量输入或填充序列时。

3. 优化生成参数：调整生成参数如temperature、top_p等可以改善输出质量，减少重复现象。

4. 验证训练流程：确保SFT阶段使用了高质量的医疗领域对话数据，DPO阶段采用了适当的偏好数据对。

总结

在MedicalGPT项目中使用Qwen模型进行领域适配时，正确的模板配置和参数设置至关重要。虽然attention mask的警告在实验阶段可以暂时忽略，但在生产部署时应予以解决。通过合理的训练流程和推理配置，Qwen模型能够展现出优秀的医疗对话能力，为构建专业医疗助手奠定基础。