GSQ-RCO的秘密:为什么Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3仅3.5 bits/weight却逼近BF16质量
GSQ-RCO的秘密:为什么Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3仅3.5 bits/weight却逼近BF16质量
Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3 是一款 3.5 bits/weight 的极低比特量化大模型,基于 ISTA-DASLab 的 GSQ-RCO 量化权重封装为 NInfer v3 格式,在 RTX 3090/4090/5090 上单卡即可运行,困惑度与推理基准表现几乎追平 BF16 原版模型。这篇文章带你拆解它"省显存又不掉质量"的秘密。
📦 先看仓库里有什么
整个仓库非常精简,核心就四样东西:
| 文件 | 说明 |
|---|---|
| Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer | 模型本体,15,017,456,896 字节(约 13.99 GiB),单文件包含文本、视觉、MTP 头与 DFlash2 草稿器 |
| Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer.conversion.json | 转换报告,记录模型结构与各组件的打包方式 |
| README.md | 完整的组件清单、质量与速度数据、运行指南 |
| SHA256SUMS / NOTICE | 文件校验和与各来源的 Apache-2.0 版权声明 |
一个关键设计:这个 .ninfer 文件逐字节保留 GGUF 中每个张量的 ggml 量化块,不做任何重新量化,由引擎直接在原地对量化块做乘积计算。因此它要求使用 NInfer 的 ninfer-all master 分支——原版 NInfer 构建并不认识这些 gguf_* 块格式。
🔍 核心秘密:GSQ-RCO 混合精度量化
要理解"3.5 bits 为什么够用",先看组件精度表(来自 README.md):
| 组件 | 精度表示 |
|---|---|
| 文本投影层(64 层) | 逐张量分配类型:IQ3_S、IQ3_XXS、IQ4_XS、Q4_K、IQ2_S、Q2_K、IQ2_XS、IQ2_XXS、IQ1_M,平均 3.5 bits/weight |
| 输出头 / 词表 | Q4_K、IQ2_S |
| MTP 头 | Q6_K |
| GDN 控制参数、norms、卷积等 | BF16/FP32 |
| DFlash2 草稿器 | Q8 |
| 视觉塔 | BF16 projector 分组 Q4/Q5/Q6/Q8 |
保质量主要靠三层功夫:
1️⃣ GSQ 非均匀量化——不再用等间距网格去"硬凑"权重值,而是针对非均匀分布的权重值设计更贴合的量化网格,同样的位宽下量化误差更小。
2️⃣ RCO 残差码本优化——对量化后的残差继续用码本逼近,进一步压缩误差,是逼近 BF16 质量的关键一环。
3️⃣ 逐张量混合精度——64 层文本投影中的每个张量都被单独评估并分配最合适的量化类型:敏感层给 IQ4_XS / Q4_K,不敏感层压到 IQ2_XS。平均 3.5 bits 背后其实是一份精细的"精度预算表";GDN 控制参数、norm 等敏感的小组件则直接保留 BF16/FP32,把精度预算花在刀刃上。
这套量化权重由 ISTA-DASLab 用 GSQ 与 RCO 两种方法作用于 Qwen3.8-27B 原版权重生成(来源说明见 NOTICE),本仓库只做"无损搬运"。
📊 质量实测:差距小到可以忽略
WikiText-2 测试集困惑度(GSQ-RCO 模型卡同款评测协议):
| 模型 | 困惑度 |
|---|---|
| 本量化模型 | 7.071 |
| GSQ-RCO IQ3_S(模型卡标称值) | 7.07 |
| BF16 Qwen3.8-27B(模型卡标称值) | 7.05 |
| 官方 Qwen3.8-27B NInfer 版本(Q4/Q5 分组) | 7.286 |
7.071 对比 7.05——不到 0.3% 的差距,甚至好于官方 Q4/Q5 版本。
推理能力基准(EvalScope 协议,RTX 5090):
| 基准 | 本量化模型 | 官方 NInfer 版本 |
|---|---|---|
| IFBench(严格模式) | 80.33% | 77.67% |
| AIME 2025 | 100.00% | 96.67% |
| AIME 2026 | 100.00% | 96.67% |
| GPQA-Diamond | 88.38% | 87.37% |
AIME 数学竞赛题拿到满分,且全面超越官方 Q4/Q5 版本——这正是非均匀量化加逐张量混合精度相比"一刀切"均匀量化组的实际收益。
🚀 速度收益:小文件 = 高吞吐
文件越小,显存带宽压力越小。同场同卡实测(rk8v4 KV,贪心解码,短对话平均解码速度,本版本 / 官方版本,单位 tok/s):
| 场景 | RTX 3090 | RTX 4090 | RTX 5090 |
|---|---|---|---|
| 短对话,无投机 | 59.9 / 40.3 | 70.6 / 55.0 | 107.5 / 88.1 |
| 短对话,MTP 3 草稿 | 108.7 / 82.7 | 146.4 / 109.3 | 221.4 / 178.1 |
| 短对话,DFlash2 5 草稿 | 115.6 / 109.2 | 169.4 / 141.3 | 226.5 / 222.5 |
| 32K token 后的解码 | 50.4 / 38.4 | 66.0 / 52.2 | 100.3 / 83.2 |
| 8K 提示首 token 时间(s) | 4.95 / 5.43 | 2.21 / 3.17 | 2.01 / 2.23 |
| 空闲显存占用(GiB) | 17.3 / 21.3 | 17.5 / 21.4 | 19.3 / 23.6 |
亮点:RTX 5090 上叠加 MTP 或 DFlash2 投机解码后可达 220+ tok/s;176,128 token 上下文可完整装入 24 GB 显存卡,RTX 5090 更能跑满 262,144 token 的超长窗口。
🛠️ 快速上手:两条命令跑起来
前提:NVIDIA CUDA 13 分支驱动(580+)与 NVIDIA Container Toolkit。
方式一:Docker(推荐)
hf download WaveCut/Qwen3.8-27B-GSQ-RCO-IQ3_S-NInfer-v3 Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer --local-dir models
docker run --rm --gpus all -p 8080:8080 --ulimit memlock=-1 \
-v "$PWD/models:/models" -v ninfer-cache:/cache \
ghcr.io/iamwavecut/ninfer-all serve /models/Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer \
--model-id qwen3.8-27b --max-context 176128 --kv-capacity 176128 --kv-dtype rk8v4 \
--gdn-state-fp16 --spec mtp --draft-tokens 3
方式二:自行编译 ninfer-all master 分支后
ninfer-serve models/Qwen3.8-27B-GSQ-RCO-IQ3_S-ninfer-v3.ninfer --model-id qwen3.8-27b \
--max-context 176128 --kv-capacity 176128 --kv-dtype rk8v4 --gdn-state-fp16 \
--spec mtp --draft-tokens 3
服务启动后在 http://localhost:8080/v1 提供 OpenAI 与 Anthropic 兼容接口。可选参数:--spec dflash2 --draft-tokens 5 换用 DFlash2 草稿器;--vision 开启图片理解。
✅ 小结
- 3.5 bits/weight 不是省出来的妥协,而是精算出来的结果:GSQ 非均匀量化降低网格误差,RCO 残差码本继续压缩残差,逐张量混合精度让敏感层保留更高位宽。
- 质量几乎无损:困惑度 7.071 vs BF16 的 7.05,AIME 满分,全面好于官方 Q4/Q5 版本。
- 部署更轻更快:单文件 13.99 GiB,24 GB 显卡即可跑 176K 上下文,投机解码下 RTX 5090 可达 220+ tok/s。
如果你在本地想找"体积最小、质量最接近原版"的 Qwen3.8-27B 部署方案,这款 GSQ-RCO 量化模型值得放进你的候选清单。