QwenLM/Qwen项目中Base模型SFT微调的关键技术解析

关于tokenizer与generation配置的实践指南

在QwenLM/Qwen项目的模型微调实践中，Base版本与Chat版本在tokenizer和generation配置上存在显著差异。Base版本采用raw格式，而Chat版本使用chatml格式。这一差异在模型微调过程中需要特别注意。

tokenizer处理原则

进行SFT(Supervised Fine-Tuning)微调时，一个基本原则是：不应随意替换tokenizer。Base模型微调应当继续使用其原始的tokenizer配置，即使最终目标是获得类似Chat版本的功能。这是因为tokenizer与模型权重是紧密耦合的，随意更换可能导致模型性能下降。

generation配置调整

模型微调完成后，若需使用chat功能，正确的做法是修改generation_config.json文件而非tokenizer。关键配置项包括：

1. chat_format：从"raw"改为"chatml"
2. repetition_penalty：可添加重复惩罚参数（建议值1.1）
3. max_window_size：可设置上下文窗口大小（如24000）

版本演进差异

值得注意的是，Qwen1.0与Qwen1.5版本在此机制上有重要区别。Qwen1.0采用自定义代码实现chat功能，而Qwen1.5则使用transformers内置的chat template机制，这使得配置管理更加标准化。

实践建议

对于开发者而言，进行Base模型SFT微调时应遵循以下流程：

1. 使用Base模型原始tokenizer进行训练
2. 微调完成后，根据需要调整generation_config.json
3. 若需chat功能，将chat_format改为chatml并添加相关参数
4. 保留原始tokenizer配置不变

这种处理方式既能保证模型微调效果，又能确保chat功能的正常使用，是Qwen项目模型微调的最佳实践方案。