GSQ-RCO的秘密:为什么Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3仅3.5 bits/weight却逼近BF16质量

原创2026-11-11 17:40:401,743 阅读
文章标签:大模型模型量化本地部署多模态

GSQ-RCO的秘密:为什么Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3仅3.5 bits/weight却逼近BF16质量

Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3 是一款 3.5 bits/weight 的极低比特量化大模型,基于 ISTA-DASLab 的 GSQ-RCO 量化权重封装为 NInfer v3 格式,在 RTX 3090/4090/5090 上单卡即可运行,困惑度与推理基准表现几乎追平 BF16 原版模型。这篇文章带你拆解它"省显存又不掉质量"的秘密。

📦 先看仓库里有什么

整个仓库非常精简,核心就四样东西:

文件 说明
Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer 模型本体,15,017,456,896 字节(约 13.99 GiB),单文件包含文本、视觉、MTP 头与 DFlash2 草稿器
Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer.conversion.json 转换报告,记录模型结构与各组件的打包方式
README.md 完整的组件清单、质量与速度数据、运行指南
SHA256SUMS / NOTICE 文件校验和与各来源的 Apache-2.0 版权声明

一个关键设计:这个 .ninfer 文件逐字节保留 GGUF 中每个张量的 ggml 量化块,不做任何重新量化,由引擎直接在原地对量化块做乘积计算。因此它要求使用 NInfer 的 ninfer-all master 分支——原版 NInfer 构建并不认识这些 gguf_* 块格式。

🔍 核心秘密:GSQ-RCO 混合精度量化

要理解"3.5 bits 为什么够用",先看组件精度表(来自 README.md):

组件 精度表示
文本投影层(64 层) 逐张量分配类型:IQ3_S、IQ3_XXS、IQ4_XS、Q4_K、IQ2_S、Q2_K、IQ2_XS、IQ2_XXS、IQ1_M,平均 3.5 bits/weight
输出头 / 词表 Q4_K、IQ2_S
MTP 头 Q6_K
GDN 控制参数、norms、卷积等 BF16/FP32
DFlash2 草稿器 Q8
视觉塔 BF16 projector 分组 Q4/Q5/Q6/Q8

保质量主要靠三层功夫:

1️⃣ GSQ 非均匀量化——不再用等间距网格去"硬凑"权重值,而是针对非均匀分布的权重值设计更贴合的量化网格,同样的位宽下量化误差更小。

2️⃣ RCO 残差码本优化——对量化后的残差继续用码本逼近,进一步压缩误差,是逼近 BF16 质量的关键一环。

3️⃣ 逐张量混合精度——64 层文本投影中的每个张量都被单独评估并分配最合适的量化类型:敏感层给 IQ4_XS / Q4_K,不敏感层压到 IQ2_XS。平均 3.5 bits 背后其实是一份精细的"精度预算表";GDN 控制参数、norm 等敏感的小组件则直接保留 BF16/FP32,把精度预算花在刀刃上。

这套量化权重由 ISTA-DASLab 用 GSQ 与 RCO 两种方法作用于 Qwen3.8-27B 原版权重生成(来源说明见 NOTICE),本仓库只做"无损搬运"。

📊 质量实测:差距小到可以忽略

WikiText-2 测试集困惑度(GSQ-RCO 模型卡同款评测协议):

模型 困惑度
本量化模型 7.071
GSQ-RCO IQ3_S(模型卡标称值) 7.07
BF16 Qwen3.8-27B(模型卡标称值) 7.05
官方 Qwen3.8-27B NInfer 版本(Q4/Q5 分组) 7.286

7.071 对比 7.05——不到 0.3% 的差距,甚至好于官方 Q4/Q5 版本。

推理能力基准(EvalScope 协议,RTX 5090):

基准 本量化模型 官方 NInfer 版本
IFBench(严格模式) 80.33% 77.67%
AIME 2025 100.00% 96.67%
AIME 2026 100.00% 96.67%
GPQA-Diamond 88.38% 87.37%

AIME 数学竞赛题拿到满分,且全面超越官方 Q4/Q5 版本——这正是非均匀量化加逐张量混合精度相比"一刀切"均匀量化组的实际收益。

🚀 速度收益:小文件 = 高吞吐

文件越小,显存带宽压力越小。同场同卡实测(rk8v4 KV,贪心解码,短对话平均解码速度,本版本 / 官方版本,单位 tok/s):

场景 RTX 3090 RTX 4090 RTX 5090
短对话,无投机 59.9 / 40.3 70.6 / 55.0 107.5 / 88.1
短对话,MTP 3 草稿 108.7 / 82.7 146.4 / 109.3 221.4 / 178.1
短对话,DFlash2 5 草稿 115.6 / 109.2 169.4 / 141.3 226.5 / 222.5
32K token 后的解码 50.4 / 38.4 66.0 / 52.2 100.3 / 83.2
8K 提示首 token 时间(s) 4.95 / 5.43 2.21 / 3.17 2.01 / 2.23
空闲显存占用(GiB) 17.3 / 21.3 17.5 / 21.4 19.3 / 23.6

亮点:RTX 5090 上叠加 MTP 或 DFlash2 投机解码后可达 220+ tok/s;176,128 token 上下文可完整装入 24 GB 显存卡,RTX 5090 更能跑满 262,144 token 的超长窗口。

🛠️ 快速上手:两条命令跑起来

前提:NVIDIA CUDA 13 分支驱动(580+)与 NVIDIA Container Toolkit。

方式一:Docker(推荐)

hf download WaveCut/Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3 Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer --local-dir models
docker run --rm --gpus all -p 8080:8080 --ulimit memlock=-1 \
  -v "$PWD/models:/models" -v ninfer-cache:/cache \
  ghcr.io/iamwavecut/ninfer-all serve /models/Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer \
  --model-id qwen3.8-27b --max-context 176128 --kv-capacity 176128 --kv-dtype rk8v4 \
  --gdn-state-fp16 --spec mtp --draft-tokens 3

方式二:自行编译 ninfer-all master 分支后

ninfer-serve models/Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer --model-id qwen3.8-27b \
  --max-context 176128 --kv-capacity 176128 --kv-dtype rk8v4 --gdn-state-fp16 \
  --spec mtp --draft-tokens 3

服务启动后在 http://localhost:8080/v1 提供 OpenAI 与 Anthropic 兼容接口。可选参数:--spec dflash2 --draft-tokens 5 换用 DFlash2 草稿器;--vision 开启图片理解。

✅ 小结

  • 3.5 bits/weight 不是省出来的妥协,而是精算出来的结果:GSQ 非均匀量化降低网格误差,RCO 残差码本继续压缩残差,逐张量混合精度让敏感层保留更高位宽。
  • 质量几乎无损:困惑度 7.071 vs BF16 的 7.05,AIME 满分,全面好于官方 Q4/Q5 版本。
  • 部署更轻更快:单文件 13.99 GiB,24 GB 显卡即可跑 176K 上下文,投机解码下 RTX 5090 可达 220+ tok/s。

如果你在本地想找"体积最小、质量最接近原版"的 Qwen3.8-27B 部署方案,这款 GSQ-RCO 量化模型值得放进你的候选清单。

登录后查看全文
Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3