QwenLM/Qwen项目中LoRA与ZeRO3的兼容性分析

背景介绍

在大型语言模型微调过程中，LoRA(Low-Rank Adaptation)和ZeRO(Zero Redundancy Optimizer)是两种常用的优化技术。LoRA通过引入低秩矩阵来高效微调模型参数，而ZeRO则通过分阶段优化来减少显存占用。然而，在QwenLM/Qwen项目中，存在一个值得注意的技术限制：当在基础模型上使用LoRA进行微调时，无法与ZeRO Stage3兼容。

技术限制原因

这一限制的根本原因在于基础模型需要微调嵌入层参数，特别是处理特殊控制标记<|im_start|>和<|im_end|>时。在技术实现上，modules_to_save机制与DeepSpeed ZeRO Stage3存在兼容性问题。

具体来说：

1. 基础模型需要更新嵌入层以适应这些特殊控制标记
2. LoRA通常通过modules_to_save参数来指定需要完整保存和更新的模块
3. 在ZeRO Stage3的架构下，这种参数更新方式会导致技术冲突

Qwen1.5的改进方案

Qwen1.5版本已经通过技术改进解决了这一问题。改进后的基础模型原生支持这些控制标记，因此不再需要强制更新嵌入层参数。这一改进使得：

1. 基础模型可以直接理解特殊控制标记
2. 消除了对嵌入层强制更新的需求
3. 从而解决了LoRA与ZeRO Stage3的兼容性问题

技术影响与建议

对于使用早期版本的用户，建议：

1. 在基础模型微调时使用ZeRO Stage2而非Stage3
2. 或者升级到Qwen1.5版本以获得更好的兼容性
3. 对于聊天模型，由于不涉及嵌入层更新，可以直接使用ZeRO Stage3

这一技术细节的改进体现了Qwen团队对模型架构的持续优化，使得大规模模型微调更加灵活高效。对于研究人员和开发者而言，理解这些底层技术限制有助于更合理地选择微调策略，优化计算资源的使用效率。