显存不够怎么办?InternVL3-38B-Instruct 8-bit 量化部署完整指南

原创2026-10-17 15:46:581,709 阅读

显存不够怎么办?InternVL3-38B-Instruct 8-bit 量化部署完整指南

部署 InternVL3-38B-Instruct 多模态大模型时,"显存不够"是最常见的拦路虎。这篇指南带你用 8-bit 量化部署方案,把原本需要 3 张 80GB 显卡的模型,压缩到 2 张 80GB 显卡即可跑通,并附多卡切分与常见报错排查清单。InternVL3-38B-Instruct 由 Qwen2.5-32B 语言模型 + InternViT-6B 视觉编码器组成,支持图像、多图、视频理解与多轮对话。

显存占用对比:8-bit 量化到底省多少?

部署方式 精度 权重大小(约) 最低显存需求
原生精度(bf16/fp16) 16-bit 38B × 2B ≈ 76 GB 3 × 80GB 显卡
BNB 8-bit 量化 8-bit 38B × 1B ≈ 38 GB 2 × 80GB 显卡
LMDeploy 部署(tp=2) 4-bit 更低 2 张中高显存卡

💡 8-bit 量化是 权重-only 量化:权重用 8-bit 存储,计算时反量化回 bf16,因此精度损失极小,是性价比最高的"省显存"手段。

⚠️ 激活值、KV Cache 仍以 bf16 存放,长上下文/多图像会额外吃显存,见下文排查清单。

模型权重按 16 个分片存放(见 model.safetensors.index.json),配置文件 config.json 中可看到语言部分为 Qwen2.5-32B(64 层)、视觉部分为 InternViT-6B(45 层)——这正是显存需求的来源。

一键上手:BNB 8-bit 量化部署 3 步走

第 1 步:安装依赖

pip install "transformers>=4.37.2" accelerate bitsandbytes flash-attn

模型文件可先克隆到本地(需安装 git-lfs),本地路径即为下文 path:

git clone https://gitcode.com/OpenGVLab/InternVL3-38B-Instruct

第 2 步:只需改一个参数加载模型

官方 README 给出的最小改动就是加上 load_in_8bit=True:

import torch
from transformers import AutoTokenizer, AutoModel

path = "本地模型路径"
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    load_in_8bit=True,        # 👈 关键:BNB 8-bit 量化
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True).eval()

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

注意三个细节:

  • torch_dtype=torch.bfloat16 依然保留——量化只省权重存储,计算仍是 bf16;
  • use_flash_attn=True 大幅降低注意力显存开销,强烈建议开启;
  • 模型依赖仓库内的自定义代码(modeling_internvl_chat.py、configuration_internvl_chat.py),所以 trust_remote_code=True 不能省。

第 3 步:用示例图验证图文对话

仓库 examples/ 目录自带示例图片,仓库中还附带了同款素材 red-panda.mp4(视频示例):

InternVL3-38B-Instruct 8-bit 量化部署验证用示例图片:趴在木架上的小熊猫

from PIL import Image

pixel_values = load_image('./examples/image1.jpg', max_num=12)  # 图片预处理见 README
question = '<image>\nPlease describe the image shortly.'
response = model.chat(tokenizer, pixel_values, question,
                      dict(max_new_tokens=1024, do_sample=True))
print(response)

完整推理代码(含多图、视频、流式输出)可直接参考 README.md 的 Quick Start 章节。

多显卡显存切分:device_map 写法要点

README 官方推荐 split_model 函数自动切分模型层,核心思路非常值得学习:

  • 第 0 号 GPU 要放视觉编码器(ViT)+ MLP 投影层,所以按 半张卡 计算容量,即 num_layers / (world_size - 0.5);
  • 第一层和最后一层都放到同一张卡上,避免多卡推理时张量 device 不一致报错;
  • 8-bit 模式下 2 卡即可,非量化模式需要 3 卡(README 原文注释:load_in_8bit=True 需 two 80GB GPUs)。
model = AutoModel.from_pretrained(
    path, torch_dtype=torch.bfloat16,
    load_in_8bit=True,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True,
    device_map=device_map).eval()

常见部署报错排查清单

报错 / 现象 原因 解决方案
CUDA out of memory 16-bit 加载或 KV Cache 过大 开启 load_in_8bit=True;调小 max_new_tokens
device ... expected to be on device 0 首尾层不在同一卡 使用官方 split_model 生成 device_map
多图/长视频推理 OOM 视觉 tile 数过多 调小 load_image(max_num=...)(默认 12,可降到 4~6)
Flash Attention 相关报错 未正确安装 flash-attn 按显卡架构重装 flash-attn,或临时去掉该参数
trust_remote_code 报错 缺少自定义 modeling 文件 确保使用完整模型目录(含 modeling_internvl_chat.py)
加载速度慢 直接从远端拉取 先 git clone 到本地再加载

备选方案:LMDeploy 4-bit 服务化部署

如果你要高并发对外提供服务,官方还推荐了 LMDeploy(Turbomind 引擎,默认 4-bit,显存占用更低),一条命令起 OpenAI 兼容接口:

lmdeploy serve api_server <本地模型路径> --chat-template internvl2_5 --server-port 23333 --tp 2

配合 pip install lmdeploy>=0.7.3 即可,客户端用标准 OpenAI SDK 调用,适合生产环境。

总结:一张表搞定 InternVL3-38B-Instruct 显存配置

你的显卡 推荐方案
2 × 80GB ✅ BNB 8-bit 量化(本指南方案),tp=2 / device_map 切分
3 × 80GB bf16 原生精度,精度最无损
1~2 × 48GB 及以下 LMDeploy 4-bit 服务化部署

核心记忆点:load_in_8bit=True 一个参数省下一张卡;use_flash_attn=True + trust_remote_code=True 保证稳定;多卡必配 device_map。更多细节请查阅 README.md,模型结构可深入 modeling_internvl_chat.py 与视觉端 modeling_intern_vit.py。

登录后查看全文
InternVL3-38B-Instruct