MiniCPM-V2.0全量微调中的Zero3支持问题分析与解决方案

问题背景

在MiniCPM-V2.0模型的全量微调过程中，用户发现当使用DeepSpeed的Zero3优化策略时会出现运行错误。这一问题在两张4090或3090显卡的机器上均能复现，而使用Zero2策略或MiniCPM-V2.5模型时则能正常运行。

问题现象

当用户尝试在MiniCPM-V2.0上使用Zero3进行全量微调时，主要遇到以下几种错误情况：

1. 初始报错：模型运行过程中抛出RuntimeError，提示张量处理异常
2. 修改代码后报错：出现AssertionError，提示张量形状不匹配
3. 最新问题：程序无报错直接退出，但日志打印卡死，显存被占用但无变化

根本原因分析

经过技术团队深入排查，发现问题主要源于以下几个方面：

1. VPM模块的pos_embed参数未被DeepSpeed正确调用，导致前向传播和反向传播都需要强制调用这部分参数
2. 在全量微调模式下，VPM的pos_embed层的梯度计算被错误地设置为False
3. 模型参数形状异常变为0，表明参数初始化或加载过程存在问题

解决方案

技术团队已针对此问题提出了以下解决方案：

1. 修改模型代码，确保VPM的pos_embed参数能被DeepSpeed正确处理
2. 调整trainer代码，使其与修改后的模型代码兼容
3. 提供了临时修复方案，用户可参考相关PR中的修改自行调整代码

技术细节

对于希望深入了解的技术用户，以下是问题的技术细节：

1. Zero3策略与模型特定层的交互存在问题，特别是视觉投影模块(VPM)的位置编码
2. 在全量微调模式下，所有可训练参数的梯度计算标志都应设为True
3. DeepSpeed的分布式训练策略需要与模型架构完全兼容

使用建议

对于需要使用MiniCPM-V2.0进行全量微调的用户，建议：

1. 暂时使用Zero2策略进行训练
2. 如需使用Zero3，请等待官方代码库更新
3. 可参考技术团队提供的PR进行本地修改，但需注意可能出现的兼容性问题

未来更新计划

技术团队表示将在后续版本中：

1. 将修复代码合并到主分支
2. 完善相关文档，明确不同训练策略的兼容性
3. 持续优化模型与DeepSpeed的集成

该问题的解决将显著提升MiniCPM-V2.0在大规模分布式训练场景下的稳定性和可用性。