LongCat-Flash-Lite-Sparse-4bit 量化拆解:4-bit 为什么快,路由器为什么保留 8-bit
LongCat-Flash-Lite-Sparse-4bit 量化拆解:4-bit 为什么快,路由器为什么保留 8-bit
LongCat-Flash-Lite-Sparse-4bit 是美团 69B-A3B MoE 模型 LongCat-Flash-Lite-Sparse 的 4-bit MLX 量化版,权重仅约 36 GB,在 64 GB 内存的 Mac 上即可跑满速,解码峰值可达 112 tok/s。但翻开它的量化配置你会发现一个反直觉的细节:整个模型都是 4-bit,唯独每一层的 MoE 路由器(router)被特意保留为 8-bit。为什么 4-bit 能又快又稳?为什么偏偏路由器要"高配"?这篇文章带你逐行拆清楚。
一、先看模型底牌:69B 参数,每 token 只激活 3B
在谈量化之前,先理解这个模型的"体质"——它决定了一切量化的收益与风险:
| 特性 | 说明 | 对应配置(config.json) |
|---|---|---|
| 总参数 / 激活参数 | 69B 总参数,每 token 仅激活约 3B | n_routed_experts: 256,moe_topk: 12 |
| 专家结构 | 256 个路由专家 + 128 个"恒等"零计算专家,每个 token 选 12 个 | zero_expert_num: 128,zero_expert_type: identity |
| 注意力 | LSA 长程稀疏注意力,原生支持超长上下文 | attention_method: LSA,max_position_embeddings: 983040 |
| 词元嵌入 | N-gram("oe")融合嵌入,占参数约 46% | oe_vocab_size_ratio: 78 |
💡 关键点:虽然参数总量 69B,但每次前向只用到约 3B。这个"稀疏激活"正是后文所有速度结论的根基。
二、4-bit 为什么快:解码速度由内存带宽说了算
很多新手以为 4-bit 快是因为"算力需求低",其实恰恰相反——瓶颈在内存带宽。
大模型逐 token 解码时,GPU/统一内存每个 token 都要把被激活的权重完整搬运一遍。权重精度从 8-bit 压到 4-bit,搬运量直接减半,速度随之上涨。M5 Max(128 GB)上的实测数据(README.md)一目了然:
Decode 速度(tok/s,greedy,batch 1)
| 上下文 | 4-bit | 6-bit | 8-bit |
|---|---|---|---|
| 512 | 112 | 87 | 80 |
| 2048 | 85 | 72 | 65 |
| 8192 | 83 | 71 | 65 |
| 32768 | 73 | 64 | 60 |
Prefill 速度(tok/s)
| 上下文 | 4-bit | 6-bit | 8-bit |
|---|---|---|---|
| 512 | 3142 | 2581 | 2421 |
| 8192 | 1756 | 1627 | 1312 |
| 32768 | 623 | 504 | 492 |
三个值得注意的现象:
- 短上下文差距最大:512 上下文下 4-bit 比 8-bit 快 40%,因为此时解码几乎完全是"搬权重",权重越轻越快。
- 长上下文差距收敛:到 32k 时 KV cache 读取开始和权重读取争抢带宽,4-bit 只领先 22%。
- 4-bit 速度随上下文几乎不降(112→73),这要归功于 LSA 的稀疏索引(
index_topk: 2048)——它只在 KV 长度超过阈值后才动态挑选关键位置,让解码速度保持在近水平线(详见 README.md)。
再叠加内存占用:4-bit 峰值约 39–45 GB,8-bit 则高达 74–80 GB。所以 4-bit 不只是快,更是让小内存 Mac 唯一跑得动的版本。
三、路由器为什么保留 8-bit:一次选错,全篇跑偏
打开 config.json 的 quantization 块,可以看到全局是 4-bit:
"bits": 4,
"group_size": 64,
"mode": "affine"
但紧随其后,第 0 到 13 层的路由器被逐一"点名"豁免:
"language_model.model.layers.0.mlp.router.classifier": {
"group_size": 64,
"bits": 8
}
14 个 decoder 层、每个 router.classifier 都是 8-bit。为什么?
因为路由器的输出不是"近似值",而是"决定"。 每个 token 要从 384 个专家(256 路由 + 128 恒等)里挑出 top-12。路由器输出的一组分数稍微波动,被选中的专家就可能换人,整条计算路径随之改变——这是离散的、放大式的错误,和线性层"误差可以互相抵消"完全不同。
更微妙的是这个模型的参数分布:N-gram 嵌入占了约 46% 的参数,这些大表即使量化到 4-bit,单看"绝对误差"也谈不上小;但真正决定输出走向的路由决策绝不能错。正如 README.md 所指出的:
Batch-1 decode 受权重带宽限制所以精度越低越快;但每个 token 只激活约 3B 参数,量化误差几乎没有隐藏的空间(quant error has little room to hide)。
换句话说:
- 把路由器降到 4-bit:省下极少的内存(router 本身很小),却可能让专家选择频繁漂移,生成质量"雪崩"。
- 保留 8-bit:多出的几 MB 权重可忽略不计,却保住了整个 MoE 的路由骨架。
这是一笔典型的不对称交易——用几乎为零的成本,换模型最脆弱环节的高精度。
四、量化细节速览:4-bit 是怎么压的
结合 config.json 中的 quantization_config,完整量化策略可以概括为三条:
- affine 仿射量化,group_size 64:每 64 个权重共享一组缩放因子,比整层共享精度更高,是 MLX 生态的常规做法
- 全模型 4-bit 打底:包括注意力投影、专家 FFN、词元表,共 8 个分片(model.safetensors.index.json,总计约 36.3 GB)
- 路由 classifier 逐层 8-bit 覆盖:唯一的例外,前文已详述
⚠️ 提醒:本仓库是预量化好的 checkpoint,量化配置已固化在权重里,不需要(也无法)在运行时调整 bits 或 group_size。
五、快速上手:三行代码跑起来
需要支持 longcat_flash_sparse 的 mlx-vlm 版本,装好后加载即可(参考 README.md):
from mlx_vlm import load, generate
model, processor = load("AlazarM/LongCat-Flash-Lite-Sparse-4bit", trust_remote_code=True)
tok = processor.tokenizer
text = tok.apply_chat_template(
[{"role": "user", "content": "What is the capital of France?"}],
tokenize=False, add_generation_prompt=True)
print(generate(model, processor, text, max_tokens=64, temperature=0.0))
生成参数可直接沿用仓库自带的 generation_config.json:temperature 0.7、top_k 4、top_p 0.95、repetition_penalty 1.06。对话模板(含思考模式与工具调用标记)见 chat_template.jinja。
六、怎么选精度:4 / 6 / 8-bit 对照
| 4-bit(本仓库) | 6-bit | 8-bit | |
|---|---|---|---|
| 权重大小 | ~36 GB | ~52 GB | ~68 GB |
| 建议内存 | 64 GB Mac | 96 GB Mac | 128 GB Mac |
| Decode @512 | 112 | 87 | 80 |
| 质量定位 | 速度优先 | 折中 | 接近无损 |
选型建议:
- 机器 ≤64 GB 或追求打字机般流畅 → 4-bit(本仓库)
- 96 GB 且对质量敏感 → 6-bit
- 128 GB、质量第一 → 8-bit(README 标注为 near-lossless)
七、总结
LongCat-Flash-Lite-Sparse-4bit 的量化策略其实只讲了一个道理:把精度花在刀刃上。
- ✅ 全局 4-bit:解码是带宽瓶颈,权重减半速度近半,69B 模型塞进 64 GB 内存
- ✅ 路由器 8-bit:路由选择是离散决策,容错为零,值得"高配"
- ✅ LSA 稀疏注意力兜底:长上下文下速度依然平稳
理解了这个拆解,你以后再看到任何"整体 N-bit + 个别模块 M-bit"的量化配置,都不会再觉得奇怪了。