4比特量化为什么几乎无损?Qwen3.8-Flash-Next-oQ4e-mtp背后的oQ4e混合精度量化入门
4比特量化为什么几乎无损?Qwen3.8-Flash-Next-oQ4e-mtp背后的oQ4e混合精度量化入门
Qwen3.8-Flash-Next-oQ4e-mtp 是把 180B 参数的多模态 MoE 模型 Qwen3.8-Flash-Next 用 oQ4e 混合精度量化后的 MLX 权重包:整包 100.275 GiB,平均 4.785 bits/weight。它的"几乎无损"不靠运气,而是三件事叠加——按层敏感度选合适比特宽(4 / 8 / 16)、用更小的 group 把 scale / bias 贴紧、再用重要性矩阵(imatrix)对每组做一次加权最小二乘重拟合。本文面向新手,把 config.json 和 oq_imatrix_report.json 里的真实数字拆开讲清楚,读完你能自己看懂任何一份量化配置表。
先看数据:4.785 bits/weight 到底装下了什么
oQ4e 的量化分布不是"一刀切 4bit",而是把每张权重的目标位宽、分组大小都写死在 config.json 的 quantization 段里。汇总如下(数据源:README.md 第 28–50 行):
| 存储格式 | 逻辑权重 | 占比 | 张量存储 | 有效 bits/weight |
|---|---|---|---|---|
| Affine 4-bit, group 64 | 123.313B | 68.5% | 64.600 GiB | 4.50 |
| Affine 8-bit, group 128 | 0.241B | 0.13% | 0.231 GiB | 8.25 |
| Affine 8-bit, group 64 | 4.731B | 2.63% | 4.681 GiB | 8.50 |
| BF16 | 0.516B | 0.29% | 0.961 GiB | 16.00 |
| N-gram affine 4-bit, group 32 | 51.200B | 28.45% | 29.802 GiB | 5.00 |
| 合计 | 180.000B | 100% | 100.275 GiB | 4.785 |
再看按组件切的存储(README.md 第 42–50 行):
| 组件 | 逻辑权重 | 存储 |
|---|---|---|
| 语言主干 | 125.744B | 68.227 GiB |
| N-gram embedding | 51.200B | 29.802 GiB |
| 视觉编码器 | 0.449B | 0.836 GiB |
| MTP 头 | 2.607B | 1.409 GiB |
| 合计 | 180.000B | 100.275 GiB |
一句话:71.3% 的权重用 4bit,2.6% 用 8bit,0.3% 保留 16bit BF16——这就是"混合精度"最直白的含义。
oQ4e 的三层"混合":位宽 × 分组 × 校准
按敏感度分配比特(哪层用几 bit)
oQ4e 先对每一层做一次敏感度测量,把"扛得住 4bit 就 4bit、扛不住升 8bit"这件事自动化。从 config.json 里挑几行就能看出思路:
- 主干 attention / MLP 的
down_proj、gate_proj、up_proj用 8-bit / group 128(config.json#L212-L226); - 线性注意力的
in_proj_qkv、out_proj用 8-bit / group 64(config.json#L187-L211); - 共享专家门控
shared_expert_gate用 8-bit / group 64; - 而 n-gram embedding 的 128 个 shards 全部 4-bit / group 32(config.json#L327-L966)。
默认档位在 config.json#L158-L161:bits: 4, group_size: 64, mode: affine;只有需要更高精度的张量才被 override 到 8bit。
分组亲和量化(affine)
每张权重被切成固定大小的 group(64 / 128 / 32),每组自带一套 scale 和 bias,量化公式就是 w ≈ scale * q + bias。好处:
- 组越小 → scale/bias 拟合越紧 → 精度越高,代价是每组多存 2 个浮点;
- 所以 n-gram 用 group 32 就比主干的 group 64 更"贵"一点,有效位宽从 4.50 升到 5.00 bits/weight(见上表);
- 主干 MLP 用 group 128 反而把开销压到 8.25 bits/weight,比 group 64 的 8.50 略省。
重要性矩阵(imatrix)+ 加权最小二乘重拟合
这一步是 oQ4e 相比普通 4bit 量化最关键的差异。oQ4e 不只看权重整数的 min/max,而是:
- 跑一遍校准数据:oq_imatrix_report.json 显示数据集为
oqe_code_multilingual,最终处理 1024 条样本 × 512 tokens(自适应扩展,初始 128,最多 1024); - 统计每个 Linear 模块的输入激活能量:报告里
installed_modules: 1050,其中Linear: 903、SwitchLinear: 147,覆盖了 48 层的全部 3456 次层前向(successful_layer_forwards: 3456); - 对每组做一次加权最小二乘重拟合:用"输入激活越大的权重,权重越高"的方式重新解出
scale和bias,让量化误差对最终输出损失最小,而不是对权重本身最小。
对 MoE 来说这一步尤其重要——oq_imatrix_report.json#L53-L67 里 active_ratio: 0.9997,即 75264 个专家里 75240 个在校准中至少被激活过一次,量化目标因此不会漏掉冷门专家。
为什么 MoE + n-gram + MTP 特别适合这套配方
Qwen3.8-Flash-Next 本体是 125B MoE 主干 + 51B n-gram embedding + 4B MTP 头(README.md),config.json#L101-L103 写着 num_experts: 512、num_experts_per_tok: 10。三个组件对量化精度天然敏感度不同,oQ4e 的"按层分档"正好对症下药:
| 组件 | 特点 | 分配策略 |
|---|---|---|
| MoE 主干 | 参数量大(125B),激活少(6B),容忍度高 | 默认 4bit / group 64 |
| N-gram embedding | 20M 词表、51B,是"查表"不是"算数",错一位影响大 | 4bit / group 32(更细分组) |
| MTP 头 | 2.6B,负责一次预测多 token,输出稳定性敏感 | 与主干一致,由敏感度测量决定 |
平均 4.785 bits/weight 不是"所有权重平均"出来的目标,而是"敏感部分留 8/16bit、不敏感部分压到 4bit"之后的自然结果。这也是为什么它能在保持可用性的同时把总存储压到 100.275 GiB(约 BF16 的 1/4)。
如何下载与验证
- 克隆仓库(唯一允许出现的 clone 地址):
git clone https://gitcode.com/hf_mirrors/Jundot/Qwen3.8-Flash-Next-oQ4e-mtp - 检查权重索引:model.safetensors.index.json 里
metadata.total_size应为107670127370字节(≈ 100.275 GiB); - 检查量化配置:打开 config.json 的
quantization字段,确认默认bits: 4 / group_size: 64 / mode: affine,以及各层的 8bit override; - 检查校准报告:oq_imatrix_report.json 里
processed_samples应为 1024,successful_layer_forwards应为 3456; - 检查许可证:LICENSE 为 Qwen Community License 1.0;
- 检查推理默认参数:generation_config.json 里
top_k: 20, top_p: 0.95。
21 个 model-XXXXX-of-00021.safetensors 分片加上 tokenizer(tokenizer.json、vocab.json、merges.txt)与 chat_template.jinja,构成一个可被 MLX / oMLX 直接加载的完整 checkpoint。
一句话总结
4 比特量化之所以"几乎无损",不是 4bit 本身变强了,而是 oQ4e 把"该省的地方省到 4bit、该保的地方抬到 8/16bit",再用 imatrix 重拟合把每组的误差压到对输出最小。 打开 config.json 的
quantization段、对照 oq_imatrix_report.json 的校准统计,就是读懂任何一份 oQ 量化包的最小阅读路径。