解码oQ4e量化策略:为什么flint-oQ4e的路由专家用4-bit,注意力却保留8-bit
解码oQ4e量化策略:为什么flint-oQ4e的路由专家用4-bit,注意力却保留8-bit
flint-oQ4e 是面向 Apple Silicon 的 oQ4e 混合精度量化模型:MoE 大模型 Recursive Flint(40B 总参数、每 token 激活约 2.5B)从 79.6 GB 的 bf16 压缩到 23.4 GB,perplexity 却只从 14.30 上升到 14.86。它的答案就是本文标题:路由专家压到 4-bit,注意力保留 8-bit。下面拆解这套策略的原理、验证数据和部署方法。
一、混合精度分配一览:谁用 4-bit,谁用 8-bit
oQ4e 的量化分配规则非常清晰——每个 token 都会读取的张量保 8-bit,大部分 token 不会触碰的张量才压 4-bit。这张表记录了 config.json 中 quantization 字段的默认值(bits: 4,group_size: 64,affine 模式)与逐张量覆盖:
| 模块 | 位宽 | 组大小 | 每个 token 是否必读 |
|---|---|---|---|
路由专家(switch_mlp,47 层 × 256 个) |
4-bit | 64 | ❌ 仅激活 top-6 / 256 |
注意力投影(q/k/v/o_proj) |
8-bit | 64 | ✅ 每层每 token |
共享专家(shared_expert) |
8-bit | 128 | ✅ 每层每 token |
前 2 个 dense 层 MLP(gate/up/down_proj) |
8-bit | 64 | ✅ |
词嵌入 embed_tokens、输出头 lm_head |
8-bit | 64 | ✅ 每个 token |
💡 一个容易忽略的细节:config.json 里
quantization的默认项就是"bits": 4,而所有 8-bit 张量都是显式列出的例外。换句话说,4-bit 才是"主体",8-bit 是"白名单"。
模型整体结构:49 层 = 2 个 dense 层 + 47 个 MoE 层,每层 256 个路由专家(top-6 选择)加 1 个共享专家,另有 35 个滑动窗口层(513 token)与 14 个全注意力层,支持 262k 上下文(见 config.json 的 num_experts、layer_types 等字段)。
二、为什么路由专家可以放心压到 4-bit
1. 稀疏性是最大的底气。 每生成一个 token,256 个路由专家只激活 6 个,命中率仅约 2.3%。某位专家被压出的量化误差,只有当它恰好被选中时才会进入输出——对大多数 token 而言,这些误差根本"不发生"。
2. 省内存的杠杆最大。 47 层 MoE 的专家权重(每层 256 个 × 3 个投影,共 36096 组专家权重,见 oq_imatrix_report.json 的 expert_coverage)占了 40B 总参数的绝大部分。把这部分压到 4-bit,比压其他模块省下的内存多得多——这正是 79.6 GB → 23.4 GB 的主要来源。
3. 敏感度数据支持这一判断。 oq_imatrix_report.json 的 sensitivity_map 逐层记录了敏感度:越靠前的层越敏感(第 0 层 0.0496、第 1 层 0.0251),而靠后层极低(第 47 层仅约 1.5e-06)。量化分配器(allocator)正是基于对 bf16 权重的逐层敏感度测量,才做出"专家可压、必读张量保真"的决策。
三、为什么注意力必须保留 8-bit
注意力权重与专家不同,它是每个 token 的必经之路:
- 误差会逐 token 累积。 q/k/v 投影的量化误差发生在每一步解码中,长序列下误差持续放大;而专家误差是"偶发"的。
- KV cache 对精度极其敏感。 262k 上下文的长文本场景,k/v 投影哪怕微小的偏差也会被后续所有 token 反复读取。
- 输出头决定最终分布。
embed_tokens和lm_head直接映射到词表概率,一旦压到 4-bit,top-1 命中率会断崖式下跌(对比 README.md 中 oQ2e 仅 50.2% 的数据)。
所以 oQ4e 的原则是:"每 token 必读"的张量,一分钱都不能省。
四、"e"的真相:imatrix 校准为 4-bit 兜底
oQ4e 的 "e"(enhanced)= 在基础 oQ4 之上多跑一轮 imatrix 校准。它用 128 个校准样本(数据集 oqe_code_multilingual,序列长 512,自适应追加)统计激活重要性,为每个量化组挑选更合适的裁剪范围。注意:它不改变"哪个张量给几位",只调各组内部的 scale。
oq_imatrix_report.json 给出了完整过程:
- 共校准 532 个模块(390 个
Linear+ 141 个SwitchLinear); - 校准分两轮(128 样本 → 256 样本):第一轮仍有 3 个专家零命中,第二轮 36096 个专家全部覆盖、零命中为 0(中位命中 2570 次),才算"充分";
- 效果对比:全张量改用 group 128 虽省 1.2 GB,却丢掉 imatrix 的收益(mean KL 0.263 vs 0.222)且没有变快,因此 oQ4e 保留 group 64。
📌 一个小彩蛋:config.json 中
shared_expert的组大小放宽到了 128(注意力仍为 64)——共享专家本身已是 8-bit,放宽组大小可省下 scale 张体的内存,几乎无损。
五、效果验证:4.70 bpw 下的质量、速度与内存
以下为 README.md 的保真度与速度基准(MacBook Pro M5 Max 128GB,贪心解码):
| 变体 | 大小 | bpw | mean KL ↓ | perplexity ↓ | top-1 一致率 ↑ |
|---|---|---|---|---|---|
| bf16(原始) | 79.6 GB | 16 | 0(基准) | 14.30 | 100% |
| oQ8e | 42.3 GB | 8.50 | 0.038 | 14.33 | 92.3% |
| oQ6e | 32.8 GB | 6.60 | 0.051 | 14.34 | 90.3% |
| oQ4e(本项目) | 23.4 GB | 4.70 | 0.222 | 14.86 | 78.3% |
| oQ3e | 18.5 GB | 3.71 | 0.650 | 16.92 | 64.6% |
| oQ2e | 13.9 GB | 2.80 | 1.519 | 28.99 | 50.2% |
| 变体 | ~30 token 上下文 tok/s | 4k | 16k | 峰值内存 |
|---|---|---|---|---|
| oQ8e | 110 | 103 | 95 | 42.4–43.9 GB |
| oQ5e | 103 | 97 | 91 | 28.2–29.7 GB |
| oQ4e | 120 | 110 | 105 | 23.5–25.0 GB |
| oQ3e | 109 | 106 | 98 | 18.5–20.0 GB |
| oQ2e | 130 | 124 | 113 | 14.0–15.5 GB |
⚡ 一个反直觉的现象:oQ4e 反而是 8-bit 组里最快的变体(oQ5e/6e/8e 慢 5–15%),而继续往下压到 oQ3e 并没有更快。原因:~2.5B 激活参数下,解码速度主要受 kernel 启动开销而非带宽限制——位宽再降只省内存,不省时间。oQ4e 正好落在"内存、质量、速度"的甜蜜点:23.5 GB 峰值意味着它装得进 32 GB 的 Mac。
六、部署指南:在 Apple Silicon 上运行 flint-oQ4e
环境要求:oMLX,或 mlx-vlm ≥ 0.7.10。输出是标准 MLX affine 量化格式,无需自定义 kernel。注意权重带 language_model. 前缀(通过 mlx-vlm 的模型类量化所致),oMLX 与 mlx-vlm 可原样加载。
方式一:oMLX(推荐)——下载后显示为 mlx-community--flint-oQ4e,启动 OpenAI 兼容服务:
hf download mlx-community/flint-oQ4e
omlx serve
方式二:mlx-vlm 命令行生成:
pip install -U "mlx-vlm>=0.7.10"
mlx_vlm.generate --model mlx-community/flint-oQ4e \
--prompt "Write a Python function that merges overlapping intervals." \
--max-tokens 4096 --temperature 1.0
推荐采样参数(见 generation_config.json):temperature 1.0、top_p 0.95、top_k 20;困难问题建议输出预算至少 32k token(推理与答案共享预算),并保留多轮对话中的推理内容。对话模板沿用上游原版(chat_template.jinja)。
仓库包含 5 个权重分片(model-00001-of-00005.safetensors 至 model-00005-of-00005.safetensors,共 1798 个张量、合计约 23.4 GB,见 model.safetensors.index.json),许可证为 Apache 2.0(LICENSE)。
总结
- 4-bit 给路由专家:只有 2.3% 的专家每 token 被激活,误差天然被稀释,且它们贡献了绝大部分参数量,是省内存的最大杠杆;
- 8-bit 给注意力与必读张量:每 token 必经之路,误差会累积并被 KV cache 放大;
- imatrix 校准("e") 不改变位宽分配,只按激活重要性优化各组裁剪范围,把 4-bit 的质量损失压到 mean KL 0.222、perplexity 14.86;
- 结果:79.6 GB → 23.4 GB,120 tok/s,装进 32 GB Mac,且是整条量化阶梯里的速度最优解。
这套"按读取频率分配位宽 + 激活感知校准"的思路,是理解 MoE 模型高效量化的一个很好的样本。