VLMEvalKit项目中InternVL-Chat-V1-5多GPU推理问题解析

问题背景

在VLMEvalKit项目中使用InternVL-Chat-V1-5模型进行推理时，由于模型规模较大，需要至少两块GPU才能运行。然而在实际操作中，用户发现模型无法正确分配到多个GPU上运行，导致显存不足(OOM)的问题。

问题分析

InternVL-Chat-V1-5是一个大型视觉语言模型，其显存需求超过了单块普通GPU的容量。当尝试在多GPU环境下运行时，主要遇到了两个技术挑战：

1. 模型加载问题：默认配置下模型无法自动分配到多个GPU
2. 设备一致性错误：图像数据与模型参数不在同一设备上

解决方案

模型加载配置修改

原始代码中模型加载部分需要进行以下关键修改：

self.model = AutoModel.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    load_in_8bit=load_in_8bit,
    device_map='auto'  # 关键修改：启用自动设备映射
).eval()

需要特别注意：

• 移除原有的.cuda()调用
• 确保不手动将模型移动到特定设备

图像数据处理

在多GPU环境下，需要确保输入图像数据与模型参数位于同一设备。修改图像加载代码：

pixel_values = load_image(image_path, max_num=self.max_num)
pixel_values = pixel_values.to(self.model.device)  # 确保与模型同设备
pixel_values = pixel_values.to(torch.bfloat16)

技术要点

1. 设备映射策略：device_map='auto'允许HuggingFace的transformers自动将模型层分配到可用GPU上
2. 数据类型优化：使用torch.bfloat16可以减少显存占用同时保持足够的数值精度
3. 设备一致性：所有张量必须位于同一设备上，否则会导致运行时错误

实践建议

1. 对于24GB显存的GPU(如A40)，建议使用两块或更多GPU运行InternVL-Chat-V1-5
2. 监控GPU显存使用情况，确保分配均衡
3. 如果遇到设备不匹配错误，检查所有张量的.device属性
4. 保持VLMEvalKit和InternVL相关代码库为最新版本

总结

多GPU环境下运行大型视觉语言模型需要特别注意设备分配和数据一致性。通过合理配置HuggingFace的自动设备映射功能，并确保输入数据与模型参数位于相同设备，可以有效解决InternVL-Chat-V1-5在多GPU环境下的推理问题。这一解决方案不仅适用于VLMEvalKit项目，也可为其他类似的多GPU大模型推理场景提供参考。