QwenLM/Qwen微调脚本中的System Message处理机制解析

在QwenLM/Qwen项目的微调脚本finetune.py中，存在一个值得开发者注意的系统消息处理机制。该机制的设计可能会影响模型微调的实际效果，特别是当开发者尝试自定义系统提示语时。

默认行为分析

微调脚本中的preprocess函数默认会跳过训练数据中的第一个非用户消息，同时强制使用内置的默认系统提示语"You are a helpful assistant."。这一设计意味着即使用户在训练数据文件中明确设置了系统消息，在实际训练过程中这些自定义设置也不会生效。

技术实现细节

在预处理阶段，脚本会执行以下关键操作：

1. 自动过滤掉对话记录中的第一个非用户消息
2. 忽略用户提供的任何系统提示语设置
3. 统一应用默认的系统提示语

这种实现方式虽然简化了预处理流程，但也限制了用户在微调阶段对系统行为的定制能力。对于希望完全控制模型对话风格的开发者来说，这种设计可能会带来意料之外的结果。

解决方案与建议

对于需要自定义系统消息的场景，开发者可以考虑以下两种方案：

1. 直接修改finetune.py脚本中的preprocess函数，替换默认的系统提示语参数。这种方法适用于所有训练样本使用相同系统消息的情况。

2. 等待或迁移至Qwen1.5版本，该版本已深度集成到transformers生态系统中，提供了更灵活的系统消息处理机制。新版本的设计遵循了transformers库的最佳实践，能够原生支持更丰富的定制需求。

对模型微调的影响

系统提示语在对话模型微调中扮演着重要角色，它直接影响模型的回复风格和角色定位。开发者应当充分了解这一机制对微调效果的影响，特别是在以下场景：

• 需要模型扮演特定角色(如客服、专家等)
• 要求模型遵循特定的回答格式或风格
• 需要限制模型的回答范围或领域

理解并正确处理系统消息机制，将帮助开发者获得更符合预期的微调结果。