MGM项目训练Yi-34B模型时MM投影器加载问题分析

在使用MGM项目对Yi-34B模型进行第二阶段全参数微调时，开发者可能会遇到MM投影器(multi-modal projector)状态字典加载失败的问题。该问题表现为模型初始化阶段出现参数形状不匹配的错误，导致训练过程中断。

问题现象

当执行训练脚本时，系统会抛出RuntimeError异常，提示Sequential模块的状态字典加载失败。具体错误信息显示MM投影器的权重参数形状与检查点中的参数形状不匹配。例如，检查点中的权重形状为[7168,1024]，而当前模型中的对应权重形状为[0]，表明参数未能正确初始化。

问题原因

该问题主要源于训练配置中的--pretrain_mm_mlp_adapter参数设置不当。在继续训练(continuous training)阶段，如果仍然指定预训练阶段的MM投影器适配器路径，会导致系统尝试重新初始化视觉模块，而非继续使用已有的投影器参数。

解决方案

对于继续训练场景，正确的做法是移除--pretrain_mm_mlp_adapter参数配置。这样系统会直接使用模型中已有的MM投影器参数，而不会尝试从外部检查点重新加载。修改后的训练命令应确保不包含该参数，让模型保持当前状态继续优化。

技术背景

MM投影器是多模态模型中的关键组件，负责将视觉特征映射到语言模型的嵌入空间。在MGM项目中，它通常采用MLP结构(multi-layer perceptron)。当进行模型微调时，需要特别注意参数初始化的方式：

1. 预训练阶段：需要显式指定预训练权重路径来初始化投影器
2. 微调阶段：应保持现有参数状态继续训练，避免重新初始化

最佳实践建议

1. 区分训练阶段配置：明确区分预训练和微调阶段的参数设置
2. 参数检查：在训练前验证模型各组件参数是否已正确加载
3. 形状匹配：确保各层输入输出维度与预期一致
4. 日志监控：密切关注训练初期的参数更新情况

通过遵循这些实践，可以避免类似参数加载问题，确保多模态大模型训练的顺利进行。