MedicalGPT项目中的SFT训练问题分析与解决方案

问题现象分析

在MedicalGPT项目中使用Baichuan模型进行监督式微调(SFT)后，出现了模型回答质量下降的问题。具体表现为：

1. 回答长度明显缩短
2. 回答内容准确性降低
3. 新知识未能有效融入模型

这些问题在使用LoRA(低秩适应)方法进行微调时尤为明显。从实际测试对比可以看出，微调前的模型回答相对完整且准确，而微调后的模型回答变得简短且质量下降。

原因探究

造成这种现象可能有以下几个技术原因：

1. 数据分布问题：使用的医疗数据集可能过于专业化，缺乏通用对话数据，导致模型在微调过程中"忘记"了基本的对话能力。

2. 训练轮次不足：在监督式微调过程中，epoch设置过少可能导致模型未能充分学习新数据中的知识模式。

3. LoRA适配问题：低秩适应虽然能减少计算量，但也可能限制了模型的学习能力，特别是在处理专业领域知识时。

4. 数据质量与多样性：专业医疗数据可能缺乏足够的问答多样性，导致模型倾向于生成简短、保守的回答。

解决方案

针对上述问题，可以采取以下改进措施：

1. 混合数据训练：在专业医疗数据中加入一定比例的通用对话数据，保持模型的通用对话能力。建议比例为专业数据:通用数据=7:3或8:2。

2. 增加训练轮次：将训练epoch提高到10轮左右，让模型有足够的时间学习新数据中的知识模式。

3. 调整LoRA参数：适当增大LoRA的rank值，增加模型的可学习参数容量。同时可以尝试不同的alpha值来平衡新旧知识。

4. 数据增强：对现有医疗数据进行适当扩充，增加问答的多样性和覆盖面，避免模型学习到过于狭窄的模式。

5. 渐进式训练：先使用通用数据微调几轮，再加入专业数据进行训练，帮助模型更好地适应新领域。

实施建议

在实际操作中，建议采取以下步骤：

1. 准备混合数据集，确保既有专业医疗内容，也包含通用对话数据
2. 设置合理的训练参数：epoch=10，learning_rate=1e-5
3. 监控训练过程中的loss变化，确保模型在学习而非简单记忆
4. 定期进行验证测试，检查模型回答的质量变化
5. 根据验证结果调整数据比例和训练参数

通过以上方法，可以有效改善SFT后模型回答质量下降的问题，使模型既能掌握新的医疗专业知识，又能保持良好的对话能力。