VLMEvalKit项目Llama-3.2-90B-Vision模型多GPU部署问题解析

2025-07-03 07:48:06作者：彭桢灵Jeremy

Open-source evaluation toolkit of large vision-language models (LVLMs), support GPT-4v, Gemini, QwenVLPlus, 50+ HF models, 20+ benchmarks

项目地址：https://gitcode.com/gh_mirrors/vl/VLMEvalKit

在VLMEvalKit项目中使用Llama-3.2-90B-Vision这类超大规模视觉语言模型时，研究人员经常会遇到多GPU并行计算的挑战。特别是在使用奇数个GPU卡（如3张GPU）进行模型部署时，系统会抛出"device_map setting error"错误，提示某些模型层的设备分配出现问题。

这个问题的根源在于模型并行计算时的设备分配策略。当使用偶数个GPU时，模型的层可以均匀分配，但奇数GPU会导致分配不均。具体表现为模型中间层（如示例中的第99层input_layernorm.weight）无法被正确分配到设备上。

VLMEvalKit项目组通过修改vlmeval/vlm/llama_vision.py文件中的split_model()函数实现解决了这个问题。该函数负责将大型模型分割到多个GPU设备上，改进后的版本能够正确处理奇数GPU情况下的层分配。

对于深度学习从业者而言，这个问题具有典型意义：

它展示了超大规模模型部署时设备资源分配的复杂性
提醒我们在多GPU环境下需要考虑各种设备数量的兼容性
体现了模型并行计算中负载均衡的重要性

该问题的解决为研究人员使用非对称GPU配置部署大型视觉语言模型提供了便利，特别是在资源有限的研究环境中，能够更灵活地利用可用计算资源。这也反映了VLMEvalKit项目团队对实际使用场景的深入理解和快速响应能力。

对于想要使用Llama-3.2-90B-Vision等大型模型的研究人员，建议：

确保使用最新版本的VLMEvalKit代码
了解自己硬件配置对模型部署的影响
关注模型并行计算的最佳实践

Open-source evaluation toolkit of large vision-language models (LVLMs), support GPT-4v, Gemini, QwenVLPlus, 50+ HF models, 20+ benchmarks

项目地址：https://gitcode.com/gh_mirrors/vl/VLMEvalKit

登录后查看全文

项目优选

收起

deepin linux kernel

OpenHarmony documentation | OpenHarmony开发者文档

Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台，包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分，采用java语言实现，可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用

🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer（第 2 版）》、《程序员面试金典（第 6 版）》题解

flutter_flutter

Ascend Extension for PyTorch

本项目是CANN提供的数学类基础计算算子库，实现网络在NPU上加速计算。

喝着茶写代码！最易用的自托管一站式代码托管平台，包含Git托管，代码审查，团队协作，软件包和CI/CD。

ohos_react_native

React Native鸿蒙化仓库

openEuler内核是openEuler操作系统的核心，既是系统性能与稳定性的基石，也是连接处理器、设备与服务的桥梁。