解码oQ4e量化策略:为什么flint-oQ4e的路由专家用4-bit,注意力却保留8-bit

原创2026-10-29 16:59:521,868 阅读
文章标签:人工智能大模型模型量化本地部署基础模型

解码oQ4e量化策略:为什么flint-oQ4e的路由专家用4-bit,注意力却保留8-bit

flint-oQ4e 是面向 Apple Silicon 的 oQ4e 混合精度量化模型:MoE 大模型 Recursive Flint(40B 总参数、每 token 激活约 2.5B)从 79.6 GB 的 bf16 压缩到 23.4 GB,perplexity 却只从 14.30 上升到 14.86。它的答案就是本文标题:路由专家压到 4-bit,注意力保留 8-bit。下面拆解这套策略的原理、验证数据和部署方法。

一、混合精度分配一览:谁用 4-bit,谁用 8-bit

oQ4e 的量化分配规则非常清晰——每个 token 都会读取的张量保 8-bit,大部分 token 不会触碰的张量才压 4-bit。这张表记录了 config.json 中 quantization 字段的默认值(bits: 4,group_size: 64,affine 模式)与逐张量覆盖:

模块 位宽 组大小 每个 token 是否必读
路由专家(switch_mlp,47 层 × 256 个) 4-bit 64 ❌ 仅激活 top-6 / 256
注意力投影(q/k/v/o_proj) 8-bit 64 ✅ 每层每 token
共享专家(shared_expert) 8-bit 128 ✅ 每层每 token
前 2 个 dense 层 MLP(gate/up/down_proj) 8-bit 64 ✅
词嵌入 embed_tokens、输出头 lm_head 8-bit 64 ✅ 每个 token

💡 一个容易忽略的细节:config.json 里 quantization 的默认项就是 "bits": 4,而所有 8-bit 张量都是显式列出的例外。换句话说,4-bit 才是"主体",8-bit 是"白名单"。

模型整体结构:49 层 = 2 个 dense 层 + 47 个 MoE 层,每层 256 个路由专家(top-6 选择)加 1 个共享专家,另有 35 个滑动窗口层(513 token)与 14 个全注意力层,支持 262k 上下文(见 config.json 的 num_experts、layer_types 等字段)。

二、为什么路由专家可以放心压到 4-bit

1. 稀疏性是最大的底气。 每生成一个 token,256 个路由专家只激活 6 个,命中率仅约 2.3%。某位专家被压出的量化误差,只有当它恰好被选中时才会进入输出——对大多数 token 而言,这些误差根本"不发生"。

2. 省内存的杠杆最大。 47 层 MoE 的专家权重(每层 256 个 × 3 个投影,共 36096 组专家权重,见 oq_imatrix_report.json 的 expert_coverage)占了 40B 总参数的绝大部分。把这部分压到 4-bit,比压其他模块省下的内存多得多——这正是 79.6 GB → 23.4 GB 的主要来源。

3. 敏感度数据支持这一判断。 oq_imatrix_report.json 的 sensitivity_map 逐层记录了敏感度:越靠前的层越敏感(第 0 层 0.0496、第 1 层 0.0251),而靠后层极低(第 47 层仅约 1.5e-06)。量化分配器(allocator)正是基于对 bf16 权重的逐层敏感度测量,才做出"专家可压、必读张量保真"的决策。

三、为什么注意力必须保留 8-bit

注意力权重与专家不同,它是每个 token 的必经之路:

  • 误差会逐 token 累积。 q/k/v 投影的量化误差发生在每一步解码中,长序列下误差持续放大;而专家误差是"偶发"的。
  • KV cache 对精度极其敏感。 262k 上下文的长文本场景,k/v 投影哪怕微小的偏差也会被后续所有 token 反复读取。
  • 输出头决定最终分布。 embed_tokens 和 lm_head 直接映射到词表概率,一旦压到 4-bit,top-1 命中率会断崖式下跌(对比 README.md 中 oQ2e 仅 50.2% 的数据)。

所以 oQ4e 的原则是:"每 token 必读"的张量,一分钱都不能省。

四、"e"的真相:imatrix 校准为 4-bit 兜底

oQ4e 的 "e"(enhanced)= 在基础 oQ4 之上多跑一轮 imatrix 校准。它用 128 个校准样本(数据集 oqe_code_multilingual,序列长 512,自适应追加)统计激活重要性,为每个量化组挑选更合适的裁剪范围。注意:它不改变"哪个张量给几位",只调各组内部的 scale。

oq_imatrix_report.json 给出了完整过程:

  • 共校准 532 个模块(390 个 Linear + 141 个 SwitchLinear);
  • 校准分两轮(128 样本 → 256 样本):第一轮仍有 3 个专家零命中,第二轮 36096 个专家全部覆盖、零命中为 0(中位命中 2570 次),才算"充分";
  • 效果对比:全张量改用 group 128 虽省 1.2 GB,却丢掉 imatrix 的收益(mean KL 0.263 vs 0.222)且没有变快,因此 oQ4e 保留 group 64。

📌 一个小彩蛋:config.json 中 shared_expert 的组大小放宽到了 128(注意力仍为 64)——共享专家本身已是 8-bit,放宽组大小可省下 scale 张体的内存,几乎无损。

五、效果验证:4.70 bpw 下的质量、速度与内存

以下为 README.md 的保真度与速度基准(MacBook Pro M5 Max 128GB,贪心解码):

变体 大小 bpw mean KL ↓ perplexity ↓ top-1 一致率 ↑
bf16(原始) 79.6 GB 16 0(基准) 14.30 100%
oQ8e 42.3 GB 8.50 0.038 14.33 92.3%
oQ6e 32.8 GB 6.60 0.051 14.34 90.3%
oQ4e(本项目) 23.4 GB 4.70 0.222 14.86 78.3%
oQ3e 18.5 GB 3.71 0.650 16.92 64.6%
oQ2e 13.9 GB 2.80 1.519 28.99 50.2%
变体 ~30 token 上下文 tok/s 4k 16k 峰值内存
oQ8e 110 103 95 42.4–43.9 GB
oQ5e 103 97 91 28.2–29.7 GB
oQ4e 120 110 105 23.5–25.0 GB
oQ3e 109 106 98 18.5–20.0 GB
oQ2e 130 124 113 14.0–15.5 GB

⚡ 一个反直觉的现象:oQ4e 反而是 8-bit 组里最快的变体(oQ5e/6e/8e 慢 5–15%),而继续往下压到 oQ3e 并没有更快。原因:~2.5B 激活参数下,解码速度主要受 kernel 启动开销而非带宽限制——位宽再降只省内存,不省时间。oQ4e 正好落在"内存、质量、速度"的甜蜜点:23.5 GB 峰值意味着它装得进 32 GB 的 Mac。

六、部署指南:在 Apple Silicon 上运行 flint-oQ4e

环境要求:oMLX,或 mlx-vlm ≥ 0.7.10。输出是标准 MLX affine 量化格式,无需自定义 kernel。注意权重带 language_model. 前缀(通过 mlx-vlm 的模型类量化所致),oMLX 与 mlx-vlm 可原样加载。

方式一:oMLX(推荐)——下载后显示为 mlx-community--flint-oQ4e,启动 OpenAI 兼容服务:

hf download mlx-community/flint-oQ4e
omlx serve

方式二:mlx-vlm 命令行生成:

pip install -U "mlx-vlm>=0.7.10"
mlx_vlm.generate --model mlx-community/flint-oQ4e \
  --prompt "Write a Python function that merges overlapping intervals." \
  --max-tokens 4096 --temperature 1.0

推荐采样参数(见 generation_config.json):temperature 1.0、top_p 0.95、top_k 20;困难问题建议输出预算至少 32k token(推理与答案共享预算),并保留多轮对话中的推理内容。对话模板沿用上游原版(chat_template.jinja)。

仓库包含 5 个权重分片(model-00001-of-00005.safetensors 至 model-00005-of-00005.safetensors,共 1798 个张量、合计约 23.4 GB,见 model.safetensors.index.json),许可证为 Apache 2.0(LICENSE)。

总结

  • 4-bit 给路由专家:只有 2.3% 的专家每 token 被激活,误差天然被稀释,且它们贡献了绝大部分参数量,是省内存的最大杠杆;
  • 8-bit 给注意力与必读张量:每 token 必经之路,误差会累积并被 KV cache 放大;
  • imatrix 校准("e") 不改变位宽分配,只按激活重要性优化各组裁剪范围,把 4-bit 的质量损失压到 mean KL 0.222、perplexity 14.86;
  • 结果:79.6 GB → 23.4 GB,120 tok/s,装进 32 GB Mac,且是整条量化阶梯里的速度最优解。

这套"按读取频率分配位宽 + 激活感知校准"的思路,是理解 MoE 模型高效量化的一个很好的样本。

登录后查看全文
flint-oQ4e