Hyper-Connection Q8_0 重量化揭秘:Qwen3.8-Flash-Next 如何省 618 MB 显存还提速 6%
Hyper-Connection Q8_0 重量化揭秘:Qwen3.8-Flash-Next 如何省 618 MB 显存还提速 6%
Qwen3.8-Flash-Next GSQ-RCO Q2_0 NInfer v3 版模型工件将全部 Hyper-Connection(超连接)投影矩阵从 BF16 重量化为 Q8_0,模型文件缩小 618,159,104 字节(约 618 MB),解码速度同时提升 3.6%~6.0%,困惑度仅上升约 0.02%——这是本仓库里性价比最高的一次显存优化。
🧠 什么是 Hyper-Connection?为什么它曾是"显存大户"
Qwen3.8-Flash-Next 是一个 125B 参数的 MoE 模型:48 层 × 512 个路由专家,每个 token 只激活 10 个,活跃参数约 6B,平均每个权重仅 2.40 bit。模型在每层中采用 Hyper-Connection 结构维持 4 路并行残差流(hc_count=4、低秩 320,见 Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-ninfer-v3.ninfer.conversion.json),每个注意力/MLP 块都配有三组投影矩阵(attn_hc/up、attn_hc/inject、attn_hc/down 及 mlp_hc/*)。
问题在于:原版 GGUF 里这 298 个投影矩阵全部以 BF16 存储,合计 1.27 GB,是解码每个 token 时单次最大的显存读取。专家权重可以放主机内存、按需缓存,而这块稠密权重却只能常驻 GPU——在 24 GB 显卡上,它实实在在挤占了宝贵的专家缓存空间。
🎯 Q8_0 重量化原理,3 行讲清楚
转换报告 hc-q8-requantization.json 把过程记录得明明白白:
- 矩阵每一行每 32 个数共享一个 binary16 缩放因子(
d = amax / 127,round half away,与 ggml 参考算法一致); - 文本模型的矩阵由 GGUF 中的 BF16 现场转换;MTP 块的矩阵则沿用其来源 GGUF 里的 Q8_0 存储(旧版本把它们解码回了 BF16,这次相当于"再压缩"回去);
- 重写后逐对象回读校验,文件里其他所有对象与上一版逐字节一致,只动了这 298 个矩阵。
BF16 每个数占 16 bit,Q8_0 平均每数约 8.25 bit(8 位整数 + 行内共享缩放),1.27 GB 直接减半——618 MB 就是这么省出来的。
📊 实际收益:省 618 MB,解码 +3.6%~6.0%
在单张 RTX 3090(host experts、int8 KV、每次 256 个 greedy token、3 个提示词各跑 2 次)上的实测对比:
| 指标 | Q8_0 之前 | Q8_0 之后 | 变化 |
|---|---|---|---|
| 普通解码(tok/s) | 81.3–93.6 | 84.5–97.7 | +3.6% ~ +6.0% |
| 带 3 个 MTP 草稿的解码(tok/s) | 84.5–114.4 | 83.0–120.4 | +0.4% ~ +10.0%(按提示词平均) |
| 4,958 token 提示词 prefill(tok/s) | 1,234 | 1,268 | +2.8% |
| GPU 稠密权重占用(GiB) | 3.38 | 2.83 | −0.55 GiB |
提速的关键不是"文件变小读得快",而是省下的 0.55 GiB 显存直接让给了主机专家缓存(可用 --expert-cache-mib 设定其大小),更多高频专家被缓存在 GPU 上。唯一的代价:单次调用 ≥9 个 token 时(提示词处理、批量校验),每读一次 Hyper-connection 至多多花 25 µs,对逐 token 解码几乎无感。
🔍 质量受损吗?看数据
hc-q8-requantization.json 记录了转换误差:最大绝对偏差 0.0334,RMS 误差 4.79e-4。实测困惑度(4,096 token 窗口、int8 KV、host experts):
| 语料 | Q8_0 之前 | Q8_0 之后 | 变化 |
|---|---|---|---|
| perplexity-1m | 3.93783 | 3.93842 | +0.015% |
| perplexity-heldout-2026-09 | 4.69573 | 4.69673 | +0.021% |
分领域波动在 −0.11% ~ +0.36% 之间,基本是噪声水平。严谨起见:AIME 2025 与 GPQA-Diamond 的评测分数(93.33 / 86.36)是在 BF16 投影上测得、未重跑,详见 README.md。
🚀 如何运行这个版本:三步走
前置条件:NInfer 需使用 master 分支 commit 944811b5c 或之后构建的版本,旧构建会直接拒绝这个文件。
# 1. 下载模型主文件与 n-gram 表
hf download WaveCut/Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-NInfer-v3 \
Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-ninfer-v3.ninfer --local-dir models
hf download WaveCut/Qwen3.8-Flash-Next-ngram-table-NInfer-v3 \
Qwen3.8-Flash-Next-ngram-table-IQ4_NL-ninfer-v3.ninfer --local-dir models
M=models/Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-ninfer-v3.ninfer
T=models/Qwen3.8-Flash-Next-ngram-table-IQ4_NL-ninfer-v3.ninfer
# 2. 按显存选择一种方式启动
# 单张 48GB+ GPU:ninfer-serve $M --ngram-table $T --model-id qwen3.8-flash-next --max-context 32768
# 两张 24GB GPU: ninfer-serve $M --ngram-table $T --model-id qwen3.8-flash-next --devices 0,1 --max-context 32768
# 单张 24GB GPU: ninfer-serve $M --ngram-table $T --model-id qwen3.8-flash-next --expert-residency host --max-context 32768
使用提示:
- 不加载 n-gram 表时模型会拒绝启动,这是设计行为;
--spec mtp可显式启用 MTP 草稿;专家放在主机内存时,DFlash2 草稿默认自动启用(每轮至多 7 个草稿 token,由主模型校验,所有落库 token 仍是模型自己的采样结果);- 处理图片/视频时加
--vision加载 0.9 GB 的 Vision 塔。
📦 仓库文件一览
| 文件 | 作用 |
|---|---|
| Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-ninfer-v3.ninfer | 模型主文件(41,048,606,208 字节 ≈ 38.23 GiB),内含 MTP 块与 DFlash2 草稿模型 |
| Qwen3.8-Flash-Next-GSQ-RCO-Q2_0-ninfer-v3.ninfer.conversion.json | 完整转换报告:模型配置、张量清单、来源信息 |
| hc-q8-requantization.json | 本次 Q8_0 重量化报告:298 个矩阵、误差统计、来源摘要 |
| mtp-attachment.json | MTP 块挂载记录(28 个对象,2.79 GB) |
| mtp-qualification.json | MTP 草稿解码的全部测量样本 |
| dflash2-attachment.json | DFlash2 草稿模型挂载记录(339 MB) |
| SHA256SUMS | 所有文件的完整性校验 |
| LICENSE、NOTICE | Qwen Community License 1.0 与致谢说明 |
✨ 顺带一提:Q2_0 版本整体有多快
Q2_0 是这一模型系列里主打速度的版本(避开查表式量化格式,专家按"expert-major"连续排布,一个专家就是一段连续字节)。完整速度表见 README.md:例如单张 RTX PRO 6000、专家全上 GPU 时解码可达 136~140 tok/s,prefill 约 2,950 tok/s;而 llama.cpp 纯 CPU 跑同一 GGUF 只有 11~13 tok/s。Q8_0 重量化直接叠加在这个基础上——更省显存、解码更快、质量几乎不变,三者兼得。