Qwen3.5-4B-NVFP4完全入门:一文读懂4B多模态大模型的NVFP4量化版
Qwen3.5-4B-NVFP4完全入门:一文读懂4B多模态大模型的NVFP4量化版
Qwen3.5-4B-NVFP4 是开源 4B 参数多模态大模型 Qwen3.5-4B 的 NVFP4 量化版(W4A4,权重与激活均为 4 位浮点)。它在显著降低显存占用的同时,能在 NVIDIA Blackwell 显卡上获得原生 FP4 推理加速,完整保留文本、图像、视频理解能力,适合追求"小模型、高性能、低成本"部署的新手与团队。
一、NVFP4量化是什么?为什么值得关注?⚡
量化,通俗讲就是"压缩精度":把模型权重从 16 位(BF16)压到 4 位,体积和显存占用大幅下降。
NVFP4 是 NVIDIA 推出的新一代 4 位浮点格式,本模型使用 NVIDIA Model Optimizer 完成混合精度自动量化,关键参数如下:
| 参数 | 取值 | 说明 |
|---|---|---|
| 量化算法 | NVFP4 |
4 位浮点(float4) |
| 量化模式 | W4A4 | 权重 4 位 + 激活 4 位 |
| 分组大小 | group_size: 16 |
每 16 个参数共享缩放因子,精度损失更小 |
| 排除层 | lm_head、各层 linear_attn.conv1d |
精度敏感的模块保持高精度,防止掉点 |
你可以在 hf_quant_config.json 与 config.json 中直接核对以上量化配置。
一句话总结收益: 线性层权重体积约为 BF16 的 1/4;在 Blackwell GPU 上还能触发专用 FP4 内核,推理吞吐更高。
二、底座 Qwen3.5-4B 本体有多强?
4B 属于小参数规模,但 Qwen3.5 系列采用"原生多模态"设计,核心能力亮点:
- 多模态输入:文本 + 图像 + 视频(视觉编码器 24 层,patch 大小 16,详见 preprocessor_config.json)
- 超长上下文:原生 262,144 tokens,可通过 YaRN 扩展至约 1,010,000 tokens
- 201 种语言支持,中英日韩表现突出
- 高效混合架构:Gated DeltaNet 线性注意力 + 每 4 层一组全注意力(32 层),低延迟、高吞吐
- MTP 多 token 预测:可配合 vLLM / SGLang 投机解码进一步提速
关键基准成绩(完整榜单见 README.md):
| 基准 | Qwen3.5-9B | Qwen3.5-4B | 考察方向 |
|---|---|---|---|
| MMLU-Pro | 82.5 | 79.1 | 综合知识 |
| C-Eval | 88.2 | 85.1 | 中文知识 |
| IFEval | 91.5 | 89.8 | 指令遵循 |
| TAU2-Bench | 79.1 | 79.9 | Agent 任务 |
| MMMU | 78.4 | 77.6 | 多模态理解 |
| MathVista (mini) | 85.7 | 85.1 | 视觉数学 |
| VideoMME (带字幕) | 84.5 | 83.5 | 视频理解 |
可以看到:4B 版本与 9B 大一号的"兄弟模型"分差普遍在 3 分以内,而部署成本显著更低。
三、硬件要求:你的显卡能跑吗?
⚠️ 重点先看这里,避免白忙活:
- 完整 W4A4 加速:需要 NVIDIA Blackwell 架构 GPU,包括 RTX 50 系列(消费卡)、RTX PRO 6000 Blackwell、B 系列(数据中心)
- 旧架构显卡(Ampere / Ada / Hopper,如 RTX 4090、A100、H100):模型可以正常加载和运行,但 FP4 激活内核不会触发,拿不到 W4A4 的吞吐红利——能用,但不推荐以"追速度"为目的
兼容的推理框架(建议使用最新版本):vLLM、SGLang、KTransformers、Hugging Face Transformers。
四、快速上手:用 vLLM 跑通 NVFP4 量化模型
第 1 步:获取模型文件
git clone https://gitcode.com/hf_mirrors/cosmicproc/Qwen3.5-4B-NVFP4
第 2 步:几行代码完成推理
from vllm import LLM, SamplingParams
llm = LLM(model="cosmicproc/Qwen3.5-4B-NVFP4")
outputs = llm.chat(
[{"role": "user", "content": "用一句话介绍量子计算"}],
SamplingParams(max_tokens=4096),
)
print(outputs[0].outputs[0].text)
vLLM 会自动读取仓库内的 NVFP4 量化配置完成加载,无需手动指定量化参数。需要对外提供 OpenAI 兼容 API 时,用 vllm serve 指向本地目录即可(启动命令参见 README.md 的 Quickstart 章节)。
五、仓库文件清单详解 📦
| 文件 | 作用 |
|---|---|
| README.md | 完整文档:量化说明、基准、部署命令、最佳实践 |
| config.json | 模型结构(32 层、2560 维、词表 248320)+ 量化配置 |
| hf_quant_config.json | 量化详情:NVFP4、分组大小、排除层清单 |
| model.safetensors | 量化后的模型权重(Apache-2.0 协议) |
| tokenizer.json / tokenizer_config.json | 分词器(含图像/视频/视觉特殊 token) |
| chat_template.jinja | 对话模板,内置思考模式控制逻辑 |
| preprocessor_config.json | 图像/视频预处理参数(均值、patch 尺寸等) |
| generation_config.json | 生成默认配置(结束符 eos_token_id 等) |
六、使用建议:调出最佳效果的参数技巧 💡
- 默认开启思考模式:Qwen3.5 会先输出
...的思考内容再给答案;想要"直接回答",在 API 请求中传enable_thinking: False(注意:不支持 Qwen3 的/nothink软切换)。 - 官方推荐采样参数(简化版):
| 使用场景 | temperature | top_p | top_k |
|---|---|---|---|
| 思考模式 · 通用任务 | 1.0 | 0.95 | 20 |
| 思考模式 · 编程任务 | 0.6 | 0.95 | 20 |
| 直接回答 · 通用任务 | 0.7 | 0.8 | 20 |
| 直接回答 · 推理任务 | 1.0 | 1.0 | 40 |
- 上下文长度:默认 262K;若遇到 OOM 显存不足可下调窗口,但官方建议至少保留 128K 以保住思考能力
- 输出长度:日常问答建议 32,768 tokens,竞赛级难题可开到 81,920
- 超长文本:需要 262K 以上上下文时,通过 YaRN 扩展(vLLM 用
--hf-overrides,具体参数见 README.md)
七、常见问题 FAQ ❓
Q:我的显卡是 RTX 4090(Ada 架构),能跑 NVFP4 版吗? A:能加载、能正常生成,但 Blackwell 专属的 FP4 内核不会触发,享受不到 W4A4 的加速收益。若追求极致速度,建议升级至 Blackwell 显卡;仅验证功能则无影响。
Q:4 位量化后模型质量掉得明显吗?
A:NVFP4 采用 group_size=16 的细粒度量化,并把 lm_head 与线性注意力的 conv1d 卷积层保留在高精度,常规问答、图像理解、代码任务上体验与全精度版本基本无感。
Q:中文和英文都能用吗? A:支持 201 种语言。参考成绩:C-Eval 85.1(中文)、MMLU-Pro 79.1(英文),多语言基准 MMMLU 76.1。
Q:可以只当纯文本模型用吗?
A:可以。vLLM 加 --language-model-only 参数即可跳过视觉编码器,把显存腾给 KV Cache,纯文本场景更快。