InternVL2-Pretrain-Models常见问题解答:显存OOM、图像token数与多图输入一次搞懂

原创2026-10-16 10:46:371,962 阅读

InternVL2-Pretrain-Models常见问题解答:显存OOM、图像token数与多图输入一次搞懂

InternVL2-Pretrain-Models 是 OpenGVLab 开源的 InternVL 2.0 Stage-1 预训练多模态模型仓库,覆盖 1B 到 76B 共 7 个规模的模型权重与推理代码。很多新手下载后最常遇到三类问题:显存 OOM 报错、不知道一张图占多少 token、以及多图输入怎么传。本文用一篇 FAQ 帮你一次搞懂,并附显存估算速查表和关键源码位置。

📦 先搞清楚:这个仓库装的是什么?

这个仓库提供的是 Stage-1 预训练(pretrain)检查点——模型在此阶段完成了文本、图像、视频多模态输入的对齐,是后续指令微调(Instruction Tuning)的基础底座(详见 README.md)。

模型目录 视觉底座 语言底座 总参数 权重形式
InternVL2-1B-Pretrain InternViT-300M Qwen2-0.5B ≈1.3B 单文件 safetensors
InternVL2-2B-Pretrain InternViT-300M internlm2-1.8B ≈2.4B 单文件
InternVL2-4B-Pretrain InternViT-300M Phi-3-mini-4B ≈4.4B 分片 safetensors
InternVL2-8B-Pretrain InternViT-300M internlm2_5-7B ≈7.6B 分片(4 片)
InternVL2-26B-Pretrain InternViT-6B internlm2-20B ≈26B 分片(11 片)
InternVL2-40B-Pretrain InternViT-6B Yi-34B ≈40B 分片(17 片)
InternVL2-Llama3-76B-Pretrain InternViT-6B Llama-3-70B ≈76B 分片(32 片)

每个模型目录里除了 model*.safetensors 权重,还自带了 config.json、modeling_internvl_chat.py 等推理所需代码,属于 "custom code" 型模型,加载时会自动使用本地 modeling 文件。

❓ 问题一:为什么模型不"对话",回答像文本续写?

这是最容易踩的坑:本仓库是 pretrain 模型,不是 Instruct 指令模型。

  • Stage-1 预训练只做了多模态对齐,没有经过指令微调(SFT),所以你按聊天模板提问,它倾向于"续写"图片描述或上文,而不是礼貌地回答你;
  • 如果你的目标是直接对话/做应用,应使用对应的 InternVL2 Instruct 系列模型;
  • 如果你的目标是继续预训练(CPT)、领域适配、做消融研究,那么本仓库的 Stage-1 检查点正是起点。

💡 简单判断:输出不通用人话、不遵循指令 → 大概率是选错了 pretrain 权重,不是 bug。

❓ 问题二:运行报 CUDA out of memory(OOM)怎么办?

典型报错长这样:

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate xxx MiB

按下面 5 步排查,基本能解决 90% 的 OOM:

步骤 操作 说明
1️⃣ 降低图像 token 数 把 max_dynamic_patch 从 12 调小(如 4) 每张图的 token 数与 patch 数成正比,见下文计算
2️⃣ 用 4-bit 量化加载 load_in_4bit=True(bitsandbytes) 26B/40B/76B 在单卡上的首选方案
3️⃣ 确认开启 Flash Attention 配置中 attn_implementation: "flash_attention_2" 所有模型 config 默认已启用,别改成 eager
4️⃣ 限制生成长度 调小 max_new_tokens(如 512) 显存占用随生成长度线性增长
5️⃣ 降低 batch size batch_size=1 逐条推理 多图、长文本场景下收益最大

另外两个高频原因:

  • <image> 占位符和图像数量不匹配:代码中会校验 pixel_values 总数必须等于各图 patch 数之和(见 modeling_internvl_chat.py 的 assert),匹配失败时 token 数量对不上,会异常消耗或报错;
  • 上下文太长:模型 max_position_embeddings 为 32768,输入图 + 文本 + 生成内容总和越接近上限,KV Cache 显存越大。InternVL 2.0 官方按 8k 上下文训练(README.md),建议日常推理控制在 8k 以内。

❓ 问题三:一张图片到底占多少 token?

InternVL2 采用动态分辨率(dynamic resolution),token 数不是固定的。计算公式(来自 modeling_internvl_chat.py):

单 patch token 数 = (448 ÷ 14)² × 0.5² = 32² × 0.25 = 256

再结合 config.json 中的三个参数:

  • min_dynamic_patch: 1、max_dynamic_patch: 12:一张图会被切成 1~12 个 448×448 的 patch,图越大切得越多;
  • use_thumbnail: true:额外追加 1 个缩略图 patch,保证全局视野;
  • downsample_ratio: 0.5:pixel shuffle 下采样,使每个 patch 最终输出 256 个 token。

所以:单张图片 token 数 = 256 × (动态 patch 数 N + 1 缩略图)

图片场景 动态 patch 数 N token 数
小图(如 300×300) 1 256×2 = 512
4:3 常规图(如 896×672) 4 256×5 = 1280
16:9 横图(如 1344×768) 6 256×7 = 1792
大图(打满上限) 12 256×13 = 3328

📌 举例估算:一张 1280 token 的图 + 1000 字文本,输入就约 2300 个 token;再开 max_new_tokens: 512,总长度约 2800,离 8k 上限还很安全。

❓ 问题四:多图输入是怎么实现的?

InternVL2 原生支持多图,核心机制在 forward 函数 中:

  1. 拼接:所有图片的所有 patch 展平成一个 pixel_values 列表,一次过 ViT;
  2. 标记:用 image_flags 标记当前样本使用了哪些 patch,避免 batch 内串图;
  3. 替换:把 prompt 中 <image> 占位符的 embedding 原地替换为对应的视觉特征(见 源码);
  4. 容错:若 prompt 里忘了写 <image>,chat() 接口会自动补上(见 L258)。

📌 使用建议:多图时按顺序在 prompt 里依次放置 <image> 占位,并与传入的图片列表一一对应,顺序错位会导致"答非所图"。

🧮 附:显存估算速查表(经验值,供选型参考)

模型 bf16 完整精度(约) 4-bit 量化后(约) 推荐配置
InternVL2-1B 6~8 GB 3~4 GB 单张 8GB 卡
InternVL2-2B 10~12 GB 5~6 GB 单张 12GB 卡
InternVL2-4B 12~16 GB 6~8 GB 单张 16GB 卡
InternVL2-8B 20~24 GB 8~12 GB 单张 24GB 卡
InternVL2-26B 56~64 GB 16~20 GB 2×24GB 或 4bit 单卡
InternVL2-40B 84~96 GB 24~30 GB 4×24GB 或 80GB 卡
InternVL2-Llama3-76B 160 GB+ 45~60 GB 多卡张量并行

⚠️ 以上未计入大 batch 与超长上下文的影响;显存紧张时优先"降 patch 上限 + 4-bit 量化"组合拳。

🔗 关键文件速查

搞定这三类问题(选对 pretrain 用途、控制 token 与显存、对齐多图占位符),InternVL2-Pretrain-Models 就能顺利跑起来了 🚀

登录后查看全文
InternVL2-Pretrain-Models