为什么有4-bit、5-bit还有8-bit?深挖BigBang-v1-MLX-oQ4e的混合精度分配策略
为什么有4-bit、5-bit还有8-bit?深挖BigBang-v1-MLX-oQ4e的混合精度分配策略
在 MLX 模型圈,大多数量化版本都是"一刀切":要么全模型 4-bit,要么全模型 8-bit。但 BigBang-v1-MLX-oQ4e 走了一条更精细的路——oQ4e 混合精度量化策略:同一个 35B MoE 模型里,4-bit、5-bit、6-bit、8-bit 四种精度并存,每一个权重矩阵的 bit 数都是经过校准数据"量体裁衣"后决定的。这篇文章带你从 config.json 和校准报告出发,搞清楚这些精度到底是怎么分配给不同模块的,以及为什么这么分是合理的。
📋 先认识一下模型:跑在 Apple 芯片上的 35B MoE
| 项目 | 参数 |
|---|---|
| 架构 | qwen3_5_moe(35B 总参数 / 3B 激活参数) |
| 专家结构 | 256 个 routed experts,每个 token 只激活 8 个(top-8) |
| 层数 | 40 层,每 4 层插入 1 层 full attention,其余为 linear attention |
| 上下文 | 262K tokens |
| 量化 | oQ4e:imatrix 加权 + GPTQ 权重优化,有效精度约 4.6 bpw |
| 体积 | 约 21.1 GB,共 5 个分片、2010 个张量 |
依据:README.md 的 Model Info 与 model.safetensors.index.json 的元数据(
total_size: 21103106875字节)。
💡 "位宽"是什么?30 秒看懂量化基础
量化就是用更少的 bit 存权重:
- 8-bit:每个权重用 8 位整数 + 缩放因子表示,精度损失小,体积大;
- 4-bit:只用 4 位,体积约为 8-bit 的一半,损失更大,但现代技术已能把损失压得很低;
- group_size(分块):oQ4e 采用 affine 模式——每 64 或 128 个权重共享一组 scale/bias(见 config.json 中的
"group_size": 64),块越小精度越高,但元数据开销也越大。
光靠"选个全局 bit 数"往往不够,因为不同权重矩阵对量化的敏感度差别巨大。oQ4e 的做法是:用校准数据收集每个模块输入激活的幅值分布(imatrix),再结合 GPTQ 式的逐层误差补偿,为每个模块单独指定 bits 和 group_size。
🎯 oQ4e 的精度分配全景:4 档精度各司其职
打开 config.json,quantization 字段先声明默认值(4-bit、group 64),然后用模块路径逐条覆盖。统计整个文件,分布大致如下:
| 精度 | 覆盖模块 | 数量 | 分配逻辑 |
|---|---|---|---|
| 4-bit(group 64) | 256×40 层路由专家的 30,720 个专家矩阵 + 少量注意力投影 | 占绝大多数参数 | 单专家使用频率低,误差被天然稀释,且是模型"体积大头",必须压到位 |
| 5-bit(group 128) | 大部分 linear attention 层的 in_proj_a/b/z/qkv 与 out_proj |
110 个模块 | 中等敏感:比专家精细,但不值得上 8-bit |
| 6-bit(group 64) | 仅 2 个模块:layers.34.linear_attn.in_proj_b、layers.36.linear_attn.in_proj_qkv |
2 个 | 校准发现误差"卡在"5-bit 与 8-bit 之间,给出中间档 |
| 8-bit | embed_tokens、lm_head、全部 40 层 shared_expert 三投影 + shared_expert_gate、全部 full attention 层的部分投影、第 0 层全部输入投影 |
191 个条目 | 每个 token 都必经的核心通路,误差影响面最大 |
几个典型锚点,方便你对照源码:
- 8-bit 的 embedding 表与输出层:config.json(
lm_head与embed_tokens均为 8-bit / group 64) - 6-bit 的"特例":config.json 与 config.json
- 5-bit 的线性注意力投影示例(
layers.0.linear_attn.out_proj):config.json
🧠 为什么专家是 4-bit,"别的"却是 8-bit?
这套分配策略其实和 MoE 的计算特性严丝合缝,可以拆成 4 条规则:
规则一:路由专家 → 4-bit,因为"用得少"。
每个 token 只激活 256 个专家中的 8 个(见 config.json 中 num_experts: 256、num_experts_per_tok: 8)。单个专家的激活次数少,其量化误差对整体输出的贡献自然被稀释;而专家矩阵恰恰是 35B 总参数里最大的部分。把它们压到 4-bit,是"用最小的质量代价换最大的体积"。
规则二:共享专家与路由门控 → 8-bit,因为"次次都在场"。
shared_expert 的 gate/up/down 三个投影和 shared_expert_gate 在每个 token 的每一步都参与计算(40 层全量 8-bit),误差会 100% 累加到输出上,所以保留最高精度。
规则三:full attention 投影 → 8-bit 为主。
模型每 4 层有一层 full attention(第 3、7、11 … 39 层,见 config.json 的 layer_types)。全局注意力让误差在整段上下文里传播,敏感度最高;相比之下,linear attention 的局部性更好,5-bit 即可。
规则四:输入输出层与第 0 层 → 8-bit,因为"根基不能虚"。
embed_tokens 把词元映射成向量,lm_head 把向量映射回词表概率,两者是整条链路的起点和终点;第 0 层的线性注意力投影(in_proj_a/b/z/qkv 全为 8-bit)则奠定了后续 39 层的表征基础,oQ4e 对它们采用了最保守的精度。
此外还有一个细节:8-bit 模块普遍配 group 64(更细的缩放块),5-bit 模块配 group 128。位宽越高,权重自身的量化噪声越小,可以把"精度预算"花在更细的分块上;位宽低时则适当放大分块,控制 scale 元数据的开销——这也是混合精度的一部分。
📊 分配方案从哪来?解读 imatrix 校准报告
所有"哪个模块给几位"的结论,都来自量化前的校准过程。仓库里随模型附带了一份完整报告 oq_imatrix_report.json,核心信息如下:
| 校准项 | 取值 | 含义 |
|---|---|---|
| 校准数据集 | oqe_code_multilingual(L6) |
多语言代码语料,贴合模型的代码场景 |
| 样本规模 | 128 条 × 512 token(L8-L11) | 支持自适应扩样至 1024 条,直到覆盖达标 |
| 插桩模块 | 621 个(L44-L49) | 其中 120 个是专家矩阵(QuantizedSwitchLinear) |
| 专家覆盖 | 30,720 个专家全部被激活(L54-L68) | 零激活专家为 0,最少也跑了 24 次,中位数 1660 次——保证每个专家的 imatrix 统计都"有料可依" |
| imatrix 缓存 | .oqe_imatrix/bigbang-v1-hf-oQe-s128-l512.npz(L3) |
命名即参数:s128 = 128 样本,l512 = 512 序列长度 |
也就是说:校准阶段先让 128 段真实文本流过模型,记录每个矩阵"实际看到的输入有多大多重要"(imatrix),再结合 GPTQ 的逐层误差补偿求解量化值——输入贡献大的权重被优先保护。最终有效精度约 4.6 bpw(见 README.md),把 35B 模型装进了约 21.1 GB,且质量尽量贴近原始 bfloat16。
📁 文件清单:想自己动手核对去哪看
| 文件 | 作用 |
|---|---|
| config.json | 模型架构 + 逐模块量化配置(quantization 块从 L123 起) |
| oq_imatrix_report.json | 校准与专家覆盖报告 |
| model.safetensors.index.json | 2010 个张量到 5 个分片的映射,含 language_model 与 vision_tower 权重 |
| model-00001-of-00005.safetensors ~ model-00005-of-00005.safetensors | 量化后的权重分片 |
| README.md | mlx-lm / oMLX 加载方式 |
| generation_config.json、chat_template.jinja | 生成参数与对话模板 |
| tokenizer.json、vocab.json、merges.txt、tokenizer_config.json | 词表与分词器(词表 248,320) |
| preprocessor_config.json | 视觉预处理配置(patch 16、spatial merge 2) |
❓ 新手常见问题
Q1:为什么不用 mlx 默认的"整模 4-bit"?
默认 4-bit 对所有模块一视同仁,lm_head、embedding 等关键通路的质量损失会更明显。oQ4e 虽然名义上也是 4-bit(有效 4.6 bpw、体积相近),但把"精度预算"精准投给了敏感模块,属于同体积下更优的量化方案。
Q2:我的 Mac 内存够吗? 权重约 21.1 GB,还要加上 KV cache 与激活开销,建议 32 GB 及以上统一内存的 Apple 设备;MoE 每次只激活约 3B 参数,推理速度反而轻快。
Q3:怎么跑起来?
python3 -m mlx_lm.chat --model mlx-community/BigBang-v1-MLX-oQ4e
或按 README.md 用 oMLX 导入:omlx import mlx-community/BigBang-v1-MLX-oQ4e。
✅ 小结
BigBang-v1-MLX-oQ4e 用一份 3000 多行的量化配置,展示了"混合精度"的真正含义:
- 4-bit 给用得最少的(256 个路由专家)——省体积的大头;
- 5-bit 给局部注意力——精度与开销的折中档;
- 6-bit 给"卡线"模块——校准数据驱动的精细化中间档;
- 8-bit 给每个 token 都要走的(embedding、lm_head、共享专家、全局注意力)——质量底线。
对新手来说,记住一句话就够了:混合精度量化 = 用校准数据找出"哪里敏感",再把精度花在刀刃上。这套 oQ4e 流程,正是当前大模型量化领域"数据驱动"思路的典型落地。