InternVL2-Pretrain-Models常见问题解答:显存OOM、图像token数与多图输入一次搞懂
InternVL2-Pretrain-Models常见问题解答:显存OOM、图像token数与多图输入一次搞懂
InternVL2-Pretrain-Models 是 OpenGVLab 开源的 InternVL 2.0 Stage-1 预训练多模态模型仓库,覆盖 1B 到 76B 共 7 个规模的模型权重与推理代码。很多新手下载后最常遇到三类问题:显存 OOM 报错、不知道一张图占多少 token、以及多图输入怎么传。本文用一篇 FAQ 帮你一次搞懂,并附显存估算速查表和关键源码位置。
📦 先搞清楚:这个仓库装的是什么?
这个仓库提供的是 Stage-1 预训练(pretrain)检查点——模型在此阶段完成了文本、图像、视频多模态输入的对齐,是后续指令微调(Instruction Tuning)的基础底座(详见 README.md)。
| 模型目录 | 视觉底座 | 语言底座 | 总参数 | 权重形式 |
|---|---|---|---|---|
| InternVL2-1B-Pretrain | InternViT-300M | Qwen2-0.5B | ≈1.3B | 单文件 safetensors |
| InternVL2-2B-Pretrain | InternViT-300M | internlm2-1.8B | ≈2.4B | 单文件 |
| InternVL2-4B-Pretrain | InternViT-300M | Phi-3-mini-4B | ≈4.4B | 分片 safetensors |
| InternVL2-8B-Pretrain | InternViT-300M | internlm2_5-7B | ≈7.6B | 分片(4 片) |
| InternVL2-26B-Pretrain | InternViT-6B | internlm2-20B | ≈26B | 分片(11 片) |
| InternVL2-40B-Pretrain | InternViT-6B | Yi-34B | ≈40B | 分片(17 片) |
| InternVL2-Llama3-76B-Pretrain | InternViT-6B | Llama-3-70B | ≈76B | 分片(32 片) |
每个模型目录里除了 model*.safetensors 权重,还自带了 config.json、modeling_internvl_chat.py 等推理所需代码,属于 "custom code" 型模型,加载时会自动使用本地 modeling 文件。
❓ 问题一:为什么模型不"对话",回答像文本续写?
这是最容易踩的坑:本仓库是 pretrain 模型,不是 Instruct 指令模型。
- Stage-1 预训练只做了多模态对齐,没有经过指令微调(SFT),所以你按聊天模板提问,它倾向于"续写"图片描述或上文,而不是礼貌地回答你;
- 如果你的目标是直接对话/做应用,应使用对应的 InternVL2 Instruct 系列模型;
- 如果你的目标是继续预训练(CPT)、领域适配、做消融研究,那么本仓库的 Stage-1 检查点正是起点。
💡 简单判断:输出不通用人话、不遵循指令 → 大概率是选错了 pretrain 权重,不是 bug。
❓ 问题二:运行报 CUDA out of memory(OOM)怎么办?
典型报错长这样:
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate xxx MiB
按下面 5 步排查,基本能解决 90% 的 OOM:
| 步骤 | 操作 | 说明 |
|---|---|---|
| 1️⃣ 降低图像 token 数 | 把 max_dynamic_patch 从 12 调小(如 4) |
每张图的 token 数与 patch 数成正比,见下文计算 |
| 2️⃣ 用 4-bit 量化加载 | load_in_4bit=True(bitsandbytes) |
26B/40B/76B 在单卡上的首选方案 |
| 3️⃣ 确认开启 Flash Attention | 配置中 attn_implementation: "flash_attention_2" |
所有模型 config 默认已启用,别改成 eager |
| 4️⃣ 限制生成长度 | 调小 max_new_tokens(如 512) |
显存占用随生成长度线性增长 |
| 5️⃣ 降低 batch size | batch_size=1 逐条推理 |
多图、长文本场景下收益最大 |
另外两个高频原因:
<image>占位符和图像数量不匹配:代码中会校验pixel_values总数必须等于各图 patch 数之和(见 modeling_internvl_chat.py 的assert),匹配失败时 token 数量对不上,会异常消耗或报错;- 上下文太长:模型
max_position_embeddings为 32768,输入图 + 文本 + 生成内容总和越接近上限,KV Cache 显存越大。InternVL 2.0 官方按 8k 上下文训练(README.md),建议日常推理控制在 8k 以内。
❓ 问题三:一张图片到底占多少 token?
InternVL2 采用动态分辨率(dynamic resolution),token 数不是固定的。计算公式(来自 modeling_internvl_chat.py):
单 patch token 数 = (448 ÷ 14)² × 0.5² = 32² × 0.25 = 256
再结合 config.json 中的三个参数:
min_dynamic_patch: 1、max_dynamic_patch: 12:一张图会被切成 1~12 个 448×448 的 patch,图越大切得越多;use_thumbnail: true:额外追加 1 个缩略图 patch,保证全局视野;downsample_ratio: 0.5:pixel shuffle 下采样,使每个 patch 最终输出 256 个 token。
所以:单张图片 token 数 = 256 × (动态 patch 数 N + 1 缩略图)
| 图片场景 | 动态 patch 数 N | token 数 |
|---|---|---|
| 小图(如 300×300) | 1 | 256×2 = 512 |
| 4:3 常规图(如 896×672) | 4 | 256×5 = 1280 |
| 16:9 横图(如 1344×768) | 6 | 256×7 = 1792 |
| 大图(打满上限) | 12 | 256×13 = 3328 |
📌 举例估算:一张 1280 token 的图 + 1000 字文本,输入就约 2300 个 token;再开 max_new_tokens: 512,总长度约 2800,离 8k 上限还很安全。
❓ 问题四:多图输入是怎么实现的?
InternVL2 原生支持多图,核心机制在 forward 函数 中:
- 拼接:所有图片的所有 patch 展平成一个
pixel_values列表,一次过 ViT; - 标记:用
image_flags标记当前样本使用了哪些 patch,避免 batch 内串图; - 替换:把 prompt 中
<image>占位符的 embedding 原地替换为对应的视觉特征(见 源码); - 容错:若 prompt 里忘了写
<image>,chat()接口会自动补上(见 L258)。
📌 使用建议:多图时按顺序在 prompt 里依次放置 <image> 占位,并与传入的图片列表一一对应,顺序错位会导致"答非所图"。
🧮 附:显存估算速查表(经验值,供选型参考)
| 模型 | bf16 完整精度(约) | 4-bit 量化后(约) | 推荐配置 |
|---|---|---|---|
| InternVL2-1B | 6~8 GB | 3~4 GB | 单张 8GB 卡 |
| InternVL2-2B | 10~12 GB | 5~6 GB | 单张 12GB 卡 |
| InternVL2-4B | 12~16 GB | 6~8 GB | 单张 16GB 卡 |
| InternVL2-8B | 20~24 GB | 8~12 GB | 单张 24GB 卡 |
| InternVL2-26B | 56~64 GB | 16~20 GB | 2×24GB 或 4bit 单卡 |
| InternVL2-40B | 84~96 GB | 24~30 GB | 4×24GB 或 80GB 卡 |
| InternVL2-Llama3-76B | 160 GB+ | 45~60 GB | 多卡张量并行 |
⚠️ 以上未计入大 batch 与超长上下文的影响;显存紧张时优先"降 patch 上限 + 4-bit 量化"组合拳。
🔗 关键文件速查
- 仓库总览与模型清单:README.md
- 图像 token 数计算逻辑:modeling_internvl_chat.py
- 多图对齐与 embedding 替换:modeling_internvl_chat.py
- 多图数量校验(OOM 排查点):modeling_internvl_chat.py
- 动态分辨率参数(patch 上下限、缩略图开关):config.json
- 分片权重索引(大模型排查加载问题用):model.safetensors.index.json
搞定这三类问题(选对 pretrain 用途、控制 token 与显存、对齐多图占位符),InternVL2-Pretrain-Models 就能顺利跑起来了 🚀