5分钟单卡跑通4B多模态大模型:Qwen3.5-4B-NVFP4零门槛快速上手
5分钟单卡跑通4B多模态大模型:Qwen3.5-4B-NVFP4零门槛快速上手
Qwen3.5-4B-NVFP4 是一款经过 NVFP4 四比特量化压缩的 4B 参数多模态大模型,支持文本、图像、视频输入理解。它将权重体积压缩至约 3GB(仅为 BF16 原版的 1/4),配合 SGLang 推理引擎,单张显卡 5 分钟即可部署上线,效果损失极小,非常适合新手和小团队低成本体验长上下文多模态大模型。
📌 Qwen3.5-4B-NVFP4 是什么?
这是 AxionML 基于开源模型 Qwen3.5-4B 制作的 NVFP4 量化版本,使用 NVIDIA TensorRT Model Optimizer 完成量化,面向开箱即用的部署场景。相比原版,它最大的特点就是"小身材、长续航":
| 核心指标 | 参数说明 |
|---|---|
| 模型参数 | 4B(隐藏维度 2560,32 层) |
| 输入模态 | 文本 / 图像 / 视频 三模态统一理解 |
| 原生上下文 | 262,144 tokens,可扩展至 1,010,000 tokens |
| 架构特点 | Gated DeltaNet 线性注意力 + 全注意力混合,高吞吐低延迟 |
| 量化格式 | NVFP4(E2M1 码本 + FP8 分块缩放,group_size=16) |
| 权重大小 | 约 3GB,磁盘与显存占用较 BF16 降低约 4 倍 |
| 开源协议 | Apache 2.0,可商用 |
💡 NVFP4 通俗理解:把每个权重只保留 4 比特信息,同时为每 16 个数配一个 FP8 高精度"比例尺",让 4 比特存储的数值依然能精准参与神经网络运算,从而在 Blackwell 显卡上实现又快又省的推理。
🧠 量化后效果损失有多大?几乎感知不到
很多新手担心"量化 = 变笨"。根据 README.md 中的官方基准测试,NVFP4 版本与 BF16 原版差距普遍在 1~3 分以内:
| 评测基准 | 考察能力 | BF16 原版 | NVFP4 量化版 |
|---|---|---|---|
| MMLU-Pro | 知识 & STEM | 79.1 | 77.9 |
| GPQA Diamond | 科学推理 | 76.2 | 74.1 |
| IFEval | 指令遵循 | 89.8 | 87.5 |
| MMMU | 视觉学科问答 | 77.6 | 76.1 |
| OCRBench | 文档/文字识别 | 85.0 | 82.0 |
| VideoMME(带字幕) | 视频理解 | 83.5 | 81.1 |
| MMLongBench-Doc | 长文档理解 | 54.2 | 52.9 |
更值得放心的是:量化只作用于 Transformer 线性层,视觉编码器保持原始精度,KV-cache 也不做量化(详见 hf_quant_config.json 中的排除模块列表),所以图像、视频理解能力得以最大程度保留。
🖥️ 部署环境要求:单卡配置一览
| 项目 | 要求 |
|---|---|
| GPU | 1 张 NVIDIA Blackwell 架构显卡(RTX 50 系列 / B 系列) |
| 显存 | 权重仅约 3GB,8GB 显存即可轻松起步;长上下文/视频场景建议更大显存 |
| 软件 | 支持 modelopt_fp4 量化的 SGLang 版本 + 对应 CUDA 环境 |
| 网络 | 可下载模型权重(约 3GB,仅首次下载) |
⚡ 5分钟快速部署:SGLang 一条命令启动
整个部署流程只需要一步——用 SGLang 拉起推理服务:
python3 -m sglang.launch_server \
--model-path AxionML/Qwen3.5-4B-NVFP4 \
--quantization modelopt_fp4 \
--tp 1 \
--reasoning-parser qwen3
各参数含义如下,无需任何修改即可运行:
| 参数 | 作用 |
|---|---|
--model-path |
指定模型为 Qwen3.5-4B-NVFP4 |
--quantization modelopt_fp4 |
启用 NVFP4(ModelOpt)量化推理模式 |
--tp 1 |
单卡部署(张量并行度为 1) |
--reasoning-parser qwen3 |
开启 Qwen3 思维链推理解析 |
🚀 小贴士:服务默认监听
http://127.0.0.1:30000,启动后即为标准 OpenAI 兼容接口,现有脚本基本可以零改造接入。
💬 上手实战:30 秒发起一次多模态对话
服务启动后,用 curl 发送一张图片即可体验视觉理解能力:
curl http://127.0.0.1:30000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "AxionML/Qwen3.5-4B-NVFP4",
"messages": [{
"role": "user",
"content": [
{"type": "image_url",
"image_url": {"url": "data:image/png;base64, 你的图片Base64内容"}},
{"type": "text", "text": "请描述这张图片的主要内容"}
]
}]
}'
视频理解同样开箱即用:模型按 2 fps 抽帧、最多处理 768 帧(见 video_preprocessor_config.json),覆盖绝大多数短视频理解场景。多模态对话占位符(【图片】、【视频】)由 chat_template.jinja 自动渲染,你只需要在请求里正常带上图片和文字即可。
📁 模型文件结构详解
整个仓库即一个"部署包",各文件分工如下:
| 文件 | 用途说明 |
|---|---|
| model.safetensors | 模型权重(约 3GB,NVFP4 量化后) |
| config.json | 模型架构配置,内嵌 quantization_config 量化元信息 |
| hf_quant_config.json | NVFP4 量化参数:算法、16 元素分块、排除模块清单 |
| tokenizer.json | 分词器,处理 248,320 词表规模 |
| vocab.json | 词表文件 |
| chat_template.jinja | 多模态聊天模板,负责图/视频占位符渲染 |
| processor_config.json | 图像/视频预处理配置(16px 切片、2×2 空间合并) |
| video_preprocessor_config.json | 视频抽帧参数:2 fps、最多 768 帧 |
| generation_config.json | 默认生成参数 |
| README.md | 完整说明:模型卡、基准测试、量化细节与部署命令 |
❓ 新手常见问题(FAQ)
Q1:为什么一定要用 Blackwell 显卡? NVFP4 依赖 Blackwell Tensor Cores 的原生 FP4 乘加单元,这是其"4 比特依然精准"的硬件基础;在旧架构显卡上无法发挥该量化格式的性能优势。
Q2:显存不够 / 想跑更长上下文怎么办?
权重只占约 3GB,瓶颈通常在 KV-cache。可先降低单次请求的上下文长度或视频时长;若仍不够,再考虑更大显存的显卡或更高的 --tp 并行度。
Q3:可以商用吗? 可以。模型基于 Apache 2.0 协议发布,商用与非商用均获授权。
Q4:和 BF16 原版怎么选? 追求单卡、低成本、快速上线 → 选 NVFP4 版(显存省 4 倍,能力仅损失 1~3 分);追求极限精度、显存充足 → 选 BF16 原版。
✅ 总结
Qwen3.5-4B-NVFP4 把"4B 多模态大模型"的部署门槛降到了最低:约 3GB 权重 + 一条 SGLang 命令 + 一张单卡,就能在 5 分钟内拥有一个支持图文视频理解、26 万长上下文、可商用的本地推理服务。按照本文步骤操作,你现在就可以跑起自己的第一个多模态模型了。