InternVL2-Llama3-76B vs GPT-4o:19项图像、视频与Grounding基准测试结果深度对比分析
InternVL2-Llama3-76B vs GPT-4o:19项图像、视频与Grounding基准测试结果深度对比分析
InternVL2-Llama3-76B 是 InternVL 2.0 系列中规模最大的开源多模态大语言模型(VLM),由 76B 参数组成,可与闭源商业模型 GPT-4o 正面抗衡。本文基于官方 README.md 中的评测数据,逐项对比 InternVL2-Llama3-76B vs GPT-4o 在 14 项图像理解、5 项视频理解(合计 19 项)以及 9 项 RefCOCO 系列 Grounding 子任务上的基准测试得分,帮你快速判断这个开源模型在文档 OCR、图表问答、视频问答和目标定位场景下是否值得部署。
上图正是仓库自带的示例图片 examples/image1.jpg,README 中的推理示例就是拿这张红熊猫照片做"描述图片"对话演示的。
模型简介:InternVL2-Llama3-76B 是什么?
InternVL2-Llama3-76B 采用经典的三段式结构,各部件配置可以直接在 config.json 中查到:
| 组成部分 | 模型 | 说明 |
|---|---|---|
| 视觉编码器 | InternViT-6B-448px-V1-5 | 6B 参数,448px 输入,45 层 |
| 投影层 | MLP | 将视觉特征对齐到语言空间 |
| 语言模型 | Hermes-2-Theta-Llama-3-70B | 80 层,8192 上下文窗口 |
两个值得新手注意的设计点:
- 动态分辨率切片(Dynamic Tiling):图片会被切成 1~12 块 448×448 的小图(config.json 中
min_dynamic_patch: 1、max_dynamic_patch: 12),细节越多切得越细,这也是它在 DocVQA、OCR 类任务上表现突出的关键。 - 8k 长上下文 + 视频输入:训练数据包含长文本、多图片和视频,视频按帧抽取后复用图片理解管线。
图像理解基准:14项得分逐项对比
以下为 README.md "Image Benchmarks" 表中 GPT-4o-20240513 与 InternVL2-Llama3-76B 均有数据、可直接对比的 14 项(分数越高越好):
| 基准测试 | GPT-4o | InternVL2-Llama3-76B | 差距 | 领先方 |
|---|---|---|---|---|
| DocVQA(文档问答) | 92.8 | 94.1 | +1.3 | InternVL2 ✅ |
| ChartQA(图表问答) | 85.7 | 88.4 | +2.7 | InternVL2 ✅ |
| OCRBench(文字识别) | 736 | 839 | +103 | InternVL2 ✅ |
| MME_sum(综合能力) | 2328.7 | 2414.7 | +86 | InternVL2 ✅ |
| AI2D(科学图解) | 94.2 | 87.6 | -6.6 | GPT-4o ✅ |
| RealWorldQA(真实场景) | 75.4 | 72.2 | -3.2 | GPT-4o ✅ |
| MMMU_val(多学科推理) | 69.1 | 58.2 | -10.9 | GPT-4o ✅ |
| MMBench-EN(英文综合) | 83.4 | 86.5 | +3.1 | InternVL2 ✅ |
| MMBench-CN(中文综合) | 82.1 | 86.3 | +4.2 | InternVL2 ✅ |
| CCBench(中文综合) | 71.2 | 81.0 | +9.8 | InternVL2 ✅ |
| MMVet(GPT-4-Turbo 评分) | 69.1 | 65.7 | -3.4 | GPT-4o ✅ |
| HallBench(抗幻觉) | 55.0 | 55.2 | +0.2 | 基本持平 |
| MathVista(数学视觉) | 63.8 | 65.5 | +1.7 | InternVL2 ✅ |
| OpenCompass_avg(综合) | 69.9 | 71.0 | +1.1 | InternVL2 ✅ |
解读:在 14 项直接对比中,InternVL2-Llama3-76B 拿下 9 项第一,GPT-4o 拿下 4 项,1 项打平。优势集中在文字密集场景——文档(DocVQA)、图表(ChartQA)、OCR、中文基准(CCBench 领先 9.8 分);GPT-4o 则领先于需要更强跨学科推理的 MMMU(-10.9 分)和科学图解 AI2D。
另有 InfoVQA(82.0)、TextVQA(84.4)、SEED-Image(78.2)、MMVet-GPT-4-0613(69.8)四项官方未公布 GPT-4o 数据,可与同系列 40B 版本横向参考。
视频理解基准:5项得分逐项对比
视频评测采用"每个视频抽 16 帧、每帧缩放为 448×448"的方案:
| 基准测试 | GPT-4o | InternVL2-Llama3-76B | 说明 |
|---|---|---|---|
| MMBench-Video_8帧 | 1.62 | 1.37 | GPT-4o 领先 |
| MMBench-Video_16帧 | 1.86 | 1.52 | GPT-4o 领先 |
| Video-MME(无字幕) | 71.9 | 61.2 | GPT-4o 领先约 10.7 分 |
| Video-MME(有字幕) | 77.2 | 62.8 | GPT-4o 领先约 14.4 分 |
| MVBench | -(未公布) | 69.6 | 同系列 40B 为 72.5,可参考 |
解读:视频理解是 GPT-4o 最明显的优势区,尤其是无字幕视频问答。InternVL2-Llama3-76B 的 61.2~62.8 分在开源阵营中已属第一梯队(同系列 40B 与它基本持平),但与商业模型仍有 10 分以上的差距。对中文用户来说,"有字幕"场景下语言模型能借助字幕弥补视觉短板,差距会略有收窄,但仍建议对长视频任务保留商业 API 兜底。
Grounding 目标定位:9项 RefCOCO 子任务对比
Grounding 任务要求模型根据句子描述输出目标区域的边框坐标,官方统一使用如下提示词:
Please provide the bounding box coordinates of the region this sentence describes: <ref>{}</ref>
InternVL2-Llama3-76B 在 9 项子任务(avg + 8 个 split)上的完整得分:
| 子任务 | InternVL2-Llama3-76B | 参考:专用模型 UNINEXT-H |
|---|---|---|
| 平均 avg | 90.0 | 88.9 |
| RefCOCO (val) | 92.2 | 92.6 |
| RefCOCO (testA) | 94.8 | 94.3 |
| RefCOCO (testB) | 88.4 | 91.5 |
| RefCOCO+ (val) | 88.8 | 85.2 |
| RefCOCO+ (testA) | 93.1 | 89.6 |
| RefCOCO+ (testB) | 82.8 | 79.8 |
| RefCOCO-g (val) | 89.5 | 88.7 |
| RefCOCO-g (test) | 90.3 | 89.4 |
解读:这是最"反直觉"的结果——一个通用对话 VLM 的 Grounding 平均分(90.0)甚至超过了专用目标定位 SOTA 模型 UNINEXT-H(88.9),并在 RefCOCO+ 系列全部 3 个 split 上明显领先。如果你的业务需要"框出图中某物体"(智能标注、UI 自动化、内容审核),InternVL2 系列是开源阵营首选。GPT-4o 未公布 RefCOCO 数据,无法直接对比。
深度结论:谁该选谁?
综合 19 项图像/视频基准 + 9 项 Grounding 子任务:
- 选 InternVL2-Llama3-76B:文档/表格/图表 OCR 与问答、中文视觉问答、目标定位框(Grounding)、私有化部署与数据合规场景。它比 GPT-4o 便宜(自托管)、可离线,OCR 类任务还更强。
- 选 GPT-4o:多学科复杂推理(MMMU)、长视频深度理解、对英文开放式多模态对话的鲁棒性要求极高的产品。
- 折中方案:核心业务走 InternVL2 本地部署,疑难推理/视频走 GPT-4o API 兜底。
本地部署快速上手
硬件要求(来自 README.md Quick Start):
- 8-bit 量化(
load_in_8bit=True):2 张 80GB 显卡 - bf16 全精度:至少 3 张 80GB 显卡
关键依赖与要点:
- 使用
transformers>=4.37.2,加载时务必加trust_remote_code=True(模型含自定义代码 modeling_internvl_chat.py)。 - 多卡推理需用 README 提供的
split_model()生成device_map,确保 LLM 首层和末层落在同一张卡,否则会报 tensor device 错误。 - 生产服务推荐 LMDeploy(
pip install lmdeploy>=0.5.3),一条命令即可起 OpenAI 兼容的api_server,支持tp=4张量并行。 - 权重共 32 个分片,完整索引见 model.safetensors.index.json。
model = AutoModel.from_pretrained(
"OpenGVLab/InternVL2-Llama3-76B",
torch_dtype=torch.bfloat16, load_in_8bit=True,
trust_remote_code=True).eval()
小结
InternVL2-Llama3-76B vs GPT-4o 的对决结果是:9 : 4 : 1(图像 14 项直接对比),视频理解 GPT-4o 全面领先,Grounding 上 InternVL2 则击败了专用模型。对国内用户而言,中文基准(CCBench、MMBench-CN)上 4~10 分的领先 + 可私有化部署,使它成为文档智能、内容审核、智能标注类项目的高性价比开源选择。
