InternVL3-8B-AWQ需要多少显存?24GB到80G显卡选型与3种加载方式完整指南
InternVL3-8B-AWQ需要多少显存?24GB到80G显卡选型与3种加载方式完整指南
一句话结论:InternVL3-8B-AWQ 需要多少显存?
InternVL3-8B-AWQ 是上海 AI Lab OpenGVLab 开源多模态大模型 InternVL3-8B 的 AWQ 4-bit 量化版本。它由视觉编码器(InternViT-300M)+ MLP 投影器 + 语言模型(Qwen2.5-7B 架构)组成,支持图文理解、多图对话与视频理解。
先给结论:
- 单卡 24GB(如 RTX 4090 / 3090)即可完整运行,AWQ 权重本身仅约 6.2 GB,峰值显存一般在 10~16 GB(取决于上下文长度和图片数量);
- 官方非量化 InternVL3-8B 的 16-bit 全量推理需要约 18~24 GB,8-bit 量化后需要约 12~16 GB;
- 显存再大(48G / 80G)的意义在于更长上下文、更多图片、更高并发,而不是"能不能跑"。
💡 本仓库的模型权重索引文件 pytorch_model.bin.index.json 中
total_size为 6,228,261,888 字节(约 5.8 GiB),这就是 AWQ 量化后权重的真实体积——这也是 24GB 显卡轻松驾驭它的根本原因。
InternVL3-8B-AWQ 的显存去哪了?4 个消耗来源
很多人以为"显存需求 = 模型文件大小",实际推理时显存由 4 部分组成:
| 显存组成部分 | 说明 | 典型占比(24GB 卡跑 AWQ 单图对话) |
|---|---|---|
| ① 模型权重 | AWQ 4-bit 权重 + 未量化的 ViT / 嵌入层 | ~6 GB(固定) |
| ② KV Cache | 随序列长度线性增长,多模态场景增长极快 | 2~6 GB(弹性) |
| ③ 中间激活 | ViT 前向、图像预处理产生的临时张量 | 1~3 GB(弹性) |
| ④ CUDA 运行时与框架开销 | 驱动、cuDNN、attention 工作区 | ~0.5~1 GB |
为什么多模态模型特别吃 KV Cache? InternVL3 采用动态分辨率策略:图片会被切分成多个 448×448 的 tile,本仓库配置中最大可切 12 块,外加 1 张缩略图(见 config.json 中的 max_dynamic_patch: 12 和 use_thumbnail: true)。每个 tile 对应数百个视觉 token,一张 13 块拼图的图片就可能产生 1.3 万+ 的输入 token——这直接放大了 KV Cache 占用。
所以:控制 max_num(最大 tile 数)和 max_new_tokens,是推理时最直接的显存控制手段。
24GB / 32GB / 48GB / 80G 显卡怎么选?选型对照表
以下按不同显存档位给出推荐(以官方 README.md Quick Start 的推理方式为准,单轮图文对话场景):
| 显卡显存 | 推荐模型版本 | 显存余量 | 适用场景 |
|---|---|---|---|
| 24GB(RTX 4090 / 3090) | ✅ InternVL3-8B-AWQ(本仓库) | 宽裕(峰值 ~12 GB) | 个人开发、日常图文对话,支持中等上下文 |
| 32GB(RTX A5000 / 6000 Ada) | ✅ AWQ 或 BNB 8-bit | 非常宽裕 | 长文档 + 多图混排、更大 max_num |
| 48GB(RTX A6000) | 16-bit 原版(bf16)也能跑 | 一般 | 追求最高精度、不量化部署 |
| 80GB(A100 / H100) | 16-bit 原版绰绰有余 | 巨大 | 生产环境、长上下文(32K)、高并发服务 |
几点选型建议:
- 24GB 是 AWQ 版的"舒适区"。权重 6 GB + 16K 上下文 KV Cache,峰值通常不超过 14 GB,还有富余给并发会话。
- 不要为了跑 8B 去买 80G 卡——除非你跑的是 InternVL3-38B(需要 Qwen2.5-32B 底座),或者要做 8B 模型的长视频、超长文档、高并发 API 服务。
- 纯文本对话也能用,此时 KV Cache 占用更小,24GB 卡甚至可以考虑 16-bit 原版(约需 18~20 GB)。
- 如果你的卡只有 12~16GB,建议降级到 InternVL3-2B 或 InternVL3-1B 档位(见 README.md 中的 InternVL3 Family 表格)。
3 种加载方式详解:从 AWQ 到多卡切分
方式一:AWQ 4-bit 直接加载(单卡 24GB 首选)⭐
本仓库自带 AWQ 量化配置,位于 config.json:
"quantization_config": {
"bits": 4, "group_size": 128,
"quant_method": "awq", "version": "gemm",
"zero_point": true
}
使用 transformers(≥4.37.2)加载时,框架会自动读取该配置完成 4-bit 反量化,无需任何量化库参数:
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained(
"本地模型路径",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True).eval().cuda()
- 峰值显存:约 10~14 GB(单图 + 4K 输出)
- 显存占用最低,速度损失小,是 24GB 单卡的最优解
方式二:bitsandbytes 8-bit 动态量化(16GB~24GB 卡)
如果用的是未量化的 InternVL3-8B 原版权重,可开启 load_in_8bit=True 做运行时 8-bit 量化(见 README.md "Model Loading" 一节):
model = AutoModel.from_pretrained(
"OpenGVLab/InternVL3-8B",
torch_dtype=torch.bfloat16,
load_in_8bit=True,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True).eval()
- 峰值显存:约 12~16 GB,比 AWQ 略高(8-bit 权重更占空间)
- 精度介于 16-bit 与 AWQ 之间,适合对量化误差敏感的场景
方式三:多 GPU 层切分(16-bit 原版 / 低显存双卡组合)
16-bit 全精度下,Qwen2.5-7B 底座权重约 14 GB,加上 ViT-300M(约 0.6 GB)和 KV Cache,单卡 24GB 会非常紧张。README 提供了官方的多卡切分方案:按 LLM 的 28 个 decoder layer 均匀分配到各 GPU,并把 vision_model、mlp1 和嵌入/输出层固定在第一张卡上(第一张卡因承担 ViT 被按"半张卡"计算),完整实现见 README.md 的 split_model 函数与 "Multiple GPUs" 章节。
# 关键逻辑:28 层按 (GPU数 - 0.5) 切分,ViT/mlp1/嵌入层固定在卡0
device_map = split_model('InternVL3-8B')
model = AutoModel.from_pretrained(path, device_map=device_map, ...)
官方给出的参考配置:8-bit 多卡需 2 张 80G,16-bit 全量需 至少 3 张 80G(面向 8B 系列的大上下文场景)。双 24GB 卡跑 16-bit 版时同样适用该切分思路。
⚠️ 该写法特意保证 LLM 的首层与末层落在同一张卡上,可避免多卡推理时 tensor 不同 device 导致的报错。
常见显存问题排查清单
| 现象 | 原因 | 解决办法 |
|---|---|---|
CUDA out of memory |
上下文 / 图片 tile 数过大 | 调小 max_num(图片最大切块数)、调小 max_new_tokens |
| 多图输入比单图慢且更吃显存 | 每张图片都产生独立 tile 序列 | 限制图片数量与分辨率;长文档场景增大 session_len 预算 |
| 多卡启动报 tensor 不同 device | 层切分不当 | 使用 README 的 split_model 官方方案 |
| 加载时 CPU 内存不足 | 权重先整体读入内存 | 使用 low_cpu_mem_usage=True 分层加载 |
快速决策指南(1 分钟选卡)
- 只有一张消费级卡 → 24GB(4090/3090)+ 本仓库 AWQ 版,是最优性价比组合;
- 做长文档 / 视频 / 高并发服务 → 48GB 起,80G 更从容;
- 预算有限、卡只有 12~16GB → 换 InternVL3-2B / 1B 档位,或用 8-bit 量化挤一挤;
- 追求极致精度 → 16-bit 原版 + 多卡切分,或单卡 48G。
总结:InternVL3-8B-AWQ 的 AWQ 4-bit 量化让 8B 级多模态模型的门槛降到 6 GB 权重、24GB 显存即可流畅运行;显存选型的核心变量不是"能不能装下权重",而是"能开多大的上下文和图片规模"。