VLMEvalKit项目中InternVL2-76B模型评估问题解析

问题背景

在VLMEvalKit项目中，用户在使用InternVL2-76B模型进行评估时遇到了输入长度异常的问题。具体表现为当运行评估脚本时，系统报错提示输入长度(input_ids)为0，而max_length被设置为-2009，这显然是一个非预期的数值。

问题分析

该问题出现在较新版本的PyTorch环境中（2.2+），主要与模型分割方法(split_model)的实现有关。InternVL2-76B作为一个大型视觉语言模型，其评估需要至少三块80G显存的GPU（当不使用8位量化时）。

解决方案

项目维护者已经针对较新版本的PyTorch修复了split_model方法。关键修复点包括：

1. 改进了模型分割逻辑，确保在不同版本的PyTorch中都能正确工作
2. 优化了显存管理，确保在多GPU环境下能合理分配计算资源

环境配置建议

为确保评估顺利进行，推荐使用以下环境配置：

• transformers 4.40.0
• typing_extensions 4.9.0
• torch 2.2.2
• torchaudio 2.2.2
• torchvision 0.17.2

硬件要求

评估InternVL2-76B模型时：

• 不使用8位量化(load_in_8bit=False)时，至少需要三块80G显存的GPU
• 显存使用情况应合理分配，避免出现显存不足的情况

验证结果

在修复后的代码中，评估过程可以顺利完成，各GPU的显存使用分布均匀，模型能够正常处理输入数据，不再出现输入长度为0的异常情况。

总结

对于大型视觉语言模型的评估，环境配置和代码适配至关重要。VLMEvalKit项目团队持续优化代码兼容性，确保在不同版本的深度学习框架下都能稳定运行。用户遇到类似问题时，应首先检查环境配置是否符合要求，并确保使用最新版本的评估代码。