显存不够怎么办?InternVL3-38B-Instruct 8-bit 量化部署完整指南
显存不够怎么办?InternVL3-38B-Instruct 8-bit 量化部署完整指南
部署 InternVL3-38B-Instruct 多模态大模型时,"显存不够"是最常见的拦路虎。这篇指南带你用 8-bit 量化部署方案,把原本需要 3 张 80GB 显卡的模型,压缩到 2 张 80GB 显卡即可跑通,并附多卡切分与常见报错排查清单。InternVL3-38B-Instruct 由 Qwen2.5-32B 语言模型 + InternViT-6B 视觉编码器组成,支持图像、多图、视频理解与多轮对话。
显存占用对比:8-bit 量化到底省多少?
| 部署方式 | 精度 | 权重大小(约) | 最低显存需求 |
|---|---|---|---|
| 原生精度(bf16/fp16) | 16-bit | 38B × 2B ≈ 76 GB | 3 × 80GB 显卡 |
| BNB 8-bit 量化 | 8-bit | 38B × 1B ≈ 38 GB | 2 × 80GB 显卡 |
| LMDeploy 部署(tp=2) | 4-bit | 更低 | 2 张中高显存卡 |
💡 8-bit 量化是 权重-only 量化:权重用 8-bit 存储,计算时反量化回 bf16,因此精度损失极小,是性价比最高的"省显存"手段。
⚠️ 激活值、KV Cache 仍以 bf16 存放,长上下文/多图像会额外吃显存,见下文排查清单。
模型权重按 16 个分片存放(见 model.safetensors.index.json),配置文件 config.json 中可看到语言部分为 Qwen2.5-32B(64 层)、视觉部分为 InternViT-6B(45 层)——这正是显存需求的来源。
一键上手:BNB 8-bit 量化部署 3 步走
第 1 步:安装依赖
pip install "transformers>=4.37.2" accelerate bitsandbytes flash-attn
模型文件可先克隆到本地(需安装 git-lfs),本地路径即为下文 path:
git clone https://gitcode.com/OpenGVLab/InternVL3-38B-Instruct
第 2 步:只需改一个参数加载模型
官方 README 给出的最小改动就是加上 load_in_8bit=True:
import torch
from transformers import AutoTokenizer, AutoModel
path = "本地模型路径"
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16,
load_in_8bit=True, # 👈 关键:BNB 8-bit 量化
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True).eval()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
注意三个细节:
torch_dtype=torch.bfloat16依然保留——量化只省权重存储,计算仍是 bf16;use_flash_attn=True大幅降低注意力显存开销,强烈建议开启;- 模型依赖仓库内的自定义代码(modeling_internvl_chat.py、configuration_internvl_chat.py),所以
trust_remote_code=True不能省。
第 3 步:用示例图验证图文对话
仓库 examples/ 目录自带示例图片,仓库中还附带了同款素材 red-panda.mp4(视频示例):
from PIL import Image
pixel_values = load_image('./examples/image1.jpg', max_num=12) # 图片预处理见 README
question = '<image>\nPlease describe the image shortly.'
response = model.chat(tokenizer, pixel_values, question,
dict(max_new_tokens=1024, do_sample=True))
print(response)
完整推理代码(含多图、视频、流式输出)可直接参考 README.md 的 Quick Start 章节。
多显卡显存切分:device_map 写法要点
README 官方推荐 split_model 函数自动切分模型层,核心思路非常值得学习:
- 第 0 号 GPU 要放视觉编码器(ViT)+ MLP 投影层,所以按 半张卡 计算容量,即
num_layers / (world_size - 0.5); - 第一层和最后一层都放到同一张卡上,避免多卡推理时张量 device 不一致报错;
- 8-bit 模式下 2 卡即可,非量化模式需要 3 卡(README 原文注释:
load_in_8bit=True需 two 80GB GPUs)。
model = AutoModel.from_pretrained(
path, torch_dtype=torch.bfloat16,
load_in_8bit=True,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True,
device_map=device_map).eval()
常见部署报错排查清单
| 报错 / 现象 | 原因 | 解决方案 |
|---|---|---|
CUDA out of memory |
16-bit 加载或 KV Cache 过大 | 开启 load_in_8bit=True;调小 max_new_tokens |
device ... expected to be on device 0 |
首尾层不在同一卡 | 使用官方 split_model 生成 device_map |
| 多图/长视频推理 OOM | 视觉 tile 数过多 | 调小 load_image(max_num=...)(默认 12,可降到 4~6) |
| Flash Attention 相关报错 | 未正确安装 flash-attn | 按显卡架构重装 flash-attn,或临时去掉该参数 |
trust_remote_code 报错 |
缺少自定义 modeling 文件 | 确保使用完整模型目录(含 modeling_internvl_chat.py) |
| 加载速度慢 | 直接从远端拉取 | 先 git clone 到本地再加载 |
备选方案:LMDeploy 4-bit 服务化部署
如果你要高并发对外提供服务,官方还推荐了 LMDeploy(Turbomind 引擎,默认 4-bit,显存占用更低),一条命令起 OpenAI 兼容接口:
lmdeploy serve api_server <本地模型路径> --chat-template internvl2_5 --server-port 23333 --tp 2
配合 pip install lmdeploy>=0.7.3 即可,客户端用标准 OpenAI SDK 调用,适合生产环境。
总结:一张表搞定 InternVL3-38B-Instruct 显存配置
| 你的显卡 | 推荐方案 |
|---|---|
| 2 × 80GB | ✅ BNB 8-bit 量化(本指南方案),tp=2 / device_map 切分 |
| 3 × 80GB | bf16 原生精度,精度最无损 |
| 1~2 × 48GB 及以下 | LMDeploy 4-bit 服务化部署 |
核心记忆点:load_in_8bit=True 一个参数省下一张卡;use_flash_attn=True + trust_remote_code=True 保证稳定;多卡必配 device_map。更多细节请查阅 README.md,模型结构可深入 modeling_internvl_chat.py 与视觉端 modeling_intern_vit.py。
