Qwen模型长序列微调中的指令遵循能力下降问题分析

在Qwen语言模型的实际应用中，研究人员发现当在chat版本上进行全量监督微调(SFT)时，若将max_seq_len参数从2048调整至32k，模型的指令遵循能力会出现显著下降。这一现象引发了关于长序列训练对模型性能影响的深入思考。

通过分析模型实现代码可以发现，在Qwen的modeling_qwen.py文件中，动态NTK和logn注意力机制在训练过程中实际上是被禁用的。这意味着模型在训练初期只能有效处理2K至8K长度的序列，而要适应32K的长序列处理能力，需要大量高质量的长文本训练数据作为支撑。

这种现象背后的技术原理在于位置编码的适应性机制。Qwen原始版本采用的位置编码策略在短序列场景下表现良好，但当面对超长序列微调时，模型需要经历一个较长的适应过程。在此期间，由于位置编码未能有效扩展到长序列范围，导致模型对指令的理解和遵循能力暂时性下降。

值得关注的是，在Qwen1.5版本中，开发团队已经改进了上下文长度扩展策略。新版本采用了更加智能的位置编码方案，使得模型在长序列微调时表现出更好的适应性和稳定性。这种改进使得模型能够更平滑地从短序列处理过渡到长序列处理，有效缓解了指令遵循能力下降的问题。

对于实践中的建议，研究人员应当注意：

1. 长序列微调需要配合相应长度的训练数据
2. 可以考虑采用渐进式的序列长度扩展策略
3. 在新版本Qwen1.5中，这一问题已得到显著改善

这一案例也提示我们，在大型语言模型的训练和微调过程中，序列长度的扩展不是简单的参数调整，而是需要综合考虑位置编码、注意力机制以及训练数据等多方面因素的系统工程。