InternVL2-Llama3-76B vs GPT-4o:19项图像、视频与Grounding基准测试结果深度对比分析

原创2026-10-16 13:38:271,424 阅读

InternVL2-Llama3-76B vs GPT-4o:19项图像、视频与Grounding基准测试结果深度对比分析

InternVL2-Llama3-76B 是 InternVL 2.0 系列中规模最大的开源多模态大语言模型(VLM),由 76B 参数组成,可与闭源商业模型 GPT-4o 正面抗衡。本文基于官方 README.md 中的评测数据,逐项对比 InternVL2-Llama3-76B vs GPT-4o 在 14 项图像理解、5 项视频理解(合计 19 项)以及 9 项 RefCOCO 系列 Grounding 子任务上的基准测试得分,帮你快速判断这个开源模型在文档 OCR、图表问答、视频问答和目标定位场景下是否值得部署。

用于测试 InternVL2-Llama3-76B 多模态模型图像理解能力的红熊猫示例图片

上图正是仓库自带的示例图片 examples/image1.jpg,README 中的推理示例就是拿这张红熊猫照片做"描述图片"对话演示的。

模型简介:InternVL2-Llama3-76B 是什么?

InternVL2-Llama3-76B 采用经典的三段式结构,各部件配置可以直接在 config.json 中查到:

组成部分 模型 说明
视觉编码器 InternViT-6B-448px-V1-5 6B 参数,448px 输入,45 层
投影层 MLP 将视觉特征对齐到语言空间
语言模型 Hermes-2-Theta-Llama-3-70B 80 层,8192 上下文窗口

两个值得新手注意的设计点:

  • 动态分辨率切片(Dynamic Tiling):图片会被切成 1~12 块 448×448 的小图(config.json 中 min_dynamic_patch: 1、max_dynamic_patch: 12),细节越多切得越细,这也是它在 DocVQA、OCR 类任务上表现突出的关键。
  • 8k 长上下文 + 视频输入:训练数据包含长文本、多图片和视频,视频按帧抽取后复用图片理解管线。

图像理解基准:14项得分逐项对比

以下为 README.md "Image Benchmarks" 表中 GPT-4o-20240513 与 InternVL2-Llama3-76B 均有数据、可直接对比的 14 项(分数越高越好):

基准测试 GPT-4o InternVL2-Llama3-76B 差距 领先方
DocVQA(文档问答) 92.8 94.1 +1.3 InternVL2 ✅
ChartQA(图表问答) 85.7 88.4 +2.7 InternVL2 ✅
OCRBench(文字识别) 736 839 +103 InternVL2 ✅
MME_sum(综合能力) 2328.7 2414.7 +86 InternVL2 ✅
AI2D(科学图解) 94.2 87.6 -6.6 GPT-4o ✅
RealWorldQA(真实场景) 75.4 72.2 -3.2 GPT-4o ✅
MMMU_val(多学科推理) 69.1 58.2 -10.9 GPT-4o ✅
MMBench-EN(英文综合) 83.4 86.5 +3.1 InternVL2 ✅
MMBench-CN(中文综合) 82.1 86.3 +4.2 InternVL2 ✅
CCBench(中文综合) 71.2 81.0 +9.8 InternVL2 ✅
MMVet(GPT-4-Turbo 评分) 69.1 65.7 -3.4 GPT-4o ✅
HallBench(抗幻觉) 55.0 55.2 +0.2 基本持平
MathVista(数学视觉) 63.8 65.5 +1.7 InternVL2 ✅
OpenCompass_avg(综合) 69.9 71.0 +1.1 InternVL2 ✅

解读:在 14 项直接对比中,InternVL2-Llama3-76B 拿下 9 项第一,GPT-4o 拿下 4 项,1 项打平。优势集中在文字密集场景——文档(DocVQA)、图表(ChartQA)、OCR、中文基准(CCBench 领先 9.8 分);GPT-4o 则领先于需要更强跨学科推理的 MMMU(-10.9 分)和科学图解 AI2D。

另有 InfoVQA(82.0)、TextVQA(84.4)、SEED-Image(78.2)、MMVet-GPT-4-0613(69.8)四项官方未公布 GPT-4o 数据,可与同系列 40B 版本横向参考。

视频理解基准:5项得分逐项对比

视频评测采用"每个视频抽 16 帧、每帧缩放为 448×448"的方案:

基准测试 GPT-4o InternVL2-Llama3-76B 说明
MMBench-Video_8帧 1.62 1.37 GPT-4o 领先
MMBench-Video_16帧 1.86 1.52 GPT-4o 领先
Video-MME(无字幕) 71.9 61.2 GPT-4o 领先约 10.7 分
Video-MME(有字幕) 77.2 62.8 GPT-4o 领先约 14.4 分
MVBench -(未公布) 69.6 同系列 40B 为 72.5,可参考

解读:视频理解是 GPT-4o 最明显的优势区,尤其是无字幕视频问答。InternVL2-Llama3-76B 的 61.2~62.8 分在开源阵营中已属第一梯队(同系列 40B 与它基本持平),但与商业模型仍有 10 分以上的差距。对中文用户来说,"有字幕"场景下语言模型能借助字幕弥补视觉短板,差距会略有收窄,但仍建议对长视频任务保留商业 API 兜底。

Grounding 目标定位:9项 RefCOCO 子任务对比

Grounding 任务要求模型根据句子描述输出目标区域的边框坐标,官方统一使用如下提示词:

Please provide the bounding box coordinates of the region this sentence describes: <ref>{}</ref>

InternVL2-Llama3-76B 在 9 项子任务(avg + 8 个 split)上的完整得分:

子任务 InternVL2-Llama3-76B 参考:专用模型 UNINEXT-H
平均 avg 90.0 88.9
RefCOCO (val) 92.2 92.6
RefCOCO (testA) 94.8 94.3
RefCOCO (testB) 88.4 91.5
RefCOCO+ (val) 88.8 85.2
RefCOCO+ (testA) 93.1 89.6
RefCOCO+ (testB) 82.8 79.8
RefCOCO-g (val) 89.5 88.7
RefCOCO-g (test) 90.3 89.4

解读:这是最"反直觉"的结果——一个通用对话 VLM 的 Grounding 平均分(90.0)甚至超过了专用目标定位 SOTA 模型 UNINEXT-H(88.9),并在 RefCOCO+ 系列全部 3 个 split 上明显领先。如果你的业务需要"框出图中某物体"(智能标注、UI 自动化、内容审核),InternVL2 系列是开源阵营首选。GPT-4o 未公布 RefCOCO 数据,无法直接对比。

深度结论:谁该选谁?

综合 19 项图像/视频基准 + 9 项 Grounding 子任务:

  • 选 InternVL2-Llama3-76B:文档/表格/图表 OCR 与问答、中文视觉问答、目标定位框(Grounding)、私有化部署与数据合规场景。它比 GPT-4o 便宜(自托管)、可离线,OCR 类任务还更强。
  • 选 GPT-4o:多学科复杂推理(MMMU)、长视频深度理解、对英文开放式多模态对话的鲁棒性要求极高的产品。
  • 折中方案:核心业务走 InternVL2 本地部署,疑难推理/视频走 GPT-4o API 兜底。

本地部署快速上手

硬件要求(来自 README.md Quick Start):

  • 8-bit 量化(load_in_8bit=True):2 张 80GB 显卡
  • bf16 全精度:至少 3 张 80GB 显卡

关键依赖与要点:

  1. 使用 transformers>=4.37.2,加载时务必加 trust_remote_code=True(模型含自定义代码 modeling_internvl_chat.py)。
  2. 多卡推理需用 README 提供的 split_model() 生成 device_map,确保 LLM 首层和末层落在同一张卡,否则会报 tensor device 错误。
  3. 生产服务推荐 LMDeploy(pip install lmdeploy>=0.5.3),一条命令即可起 OpenAI 兼容的 api_server,支持 tp=4 张量并行。
  4. 权重共 32 个分片,完整索引见 model.safetensors.index.json。
model = AutoModel.from_pretrained(
    "OpenGVLab/InternVL2-Llama3-76B",
    torch_dtype=torch.bfloat16, load_in_8bit=True,
    trust_remote_code=True).eval()

小结

InternVL2-Llama3-76B vs GPT-4o 的对决结果是:9 : 4 : 1(图像 14 项直接对比),视频理解 GPT-4o 全面领先,Grounding 上 InternVL2 则击败了专用模型。对国内用户而言,中文基准(CCBench、MMBench-CN)上 4~10 分的领先 + 可私有化部署,使它成为文档智能、内容审核、智能标注类项目的高性价比开源选择。

登录后查看全文
InternVL2-Llama3-76B