VLMEvalKit中评估微调Qwen2.5-VL模型时的维度不匹配问题解析

在使用VLMEvalKit评估工具对Qwen2.5-VL模型进行微调后评估时，开发者可能会遇到一个典型的维度不匹配错误。本文将从技术角度深入分析该问题的成因及解决方案。

问题现象

当开发者使用VLMEvalKit对原生Qwen2.5-VL模型进行评估时工作正常，但对微调后的模型进行评估时，会出现以下错误：

ValueError: Trying to set a tensor of shape torch.Size([2048]) in "bias" (which has shape torch.Size([1280])), this looks incorrect.

这个错误表明在模型加载过程中，系统试图将一个2048维的张量赋值给一个1280维的偏置参数，显然维度不匹配。

问题根源

经过分析，这个问题源于VLMEvalKit中模型加载逻辑的一个细节处理。在VLMEvalKit的模型加载代码中，系统通过检查模型路径是否包含"2.5"字符串来判断加载Qwen2.5-VL还是Qwen2-VL模型。然而，当使用微调后的checkpoint路径时，路径命名可能不符合预期格式（如包含"2_5"而非"2.5"），导致系统错误地加载了Qwen2-VL模型类而非Qwen2.5-VL模型类。

解决方案

在VLMEvalKit的模型加载逻辑中，需要扩展路径检查的条件。具体修改位于VLMEvalKit/vlmeval/vlm/qwen2_vl/model.py文件约100行处：

if '2.5' in model_path or '2_5' in model_path:  # 添加对'2_5'的检查
    from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
    MODEL_CLS = Qwen2_5_VLForConditionalGeneration
    self.processor = AutoProcessor.from_pretrained(model_path)
else:
    from transformers import Qwen2VLForConditionalGeneration, Qwen2VLProcessor
    MODEL_CLS = Qwen2VLForConditionalGeneration
    self.processor = Qwen2VLProcessor.from_pretrained(model_path)

这一修改确保无论模型路径中包含"2.5"还是"2_5"，系统都能正确识别并加载Qwen2.5-VL模型。

技术背景

Qwen2.5-VL和Qwen2-VL虽然同属一个系列，但在模型架构上存在差异：

1. 维度差异：Qwen2.5-VL的某些层维度为2048，而Qwen2-VL对应层维度为1280
2. 处理器差异：Qwen2.5-VL使用标准的AutoProcessor，而Qwen2-VL使用专用的Qwen2VLProcessor
3. 模型类差异：两者分别使用不同的模型类(Qwen2_5_VLForConditionalGeneration和Qwen2VLForConditionalGeneration)

最佳实践建议

1. 模型命名规范：在微调模型时，建议在checkpoint路径中明确包含"2.5"或"2_5"标识
2. 版本兼容性检查：在使用VLMEvalKit前，确认其版本是否支持您使用的Qwen模型版本
3. 环境一致性：确保评估环境与训练环境的库版本一致，特别是transformers和torch的版本

通过以上分析和解决方案，开发者可以顺利解决评估微调Qwen2.5-VL模型时的维度不匹配问题，确保模型评估工作的顺利进行。