深入 8-bit Affine 量化:K2-Horizon-3.7B-8bit 凭什么做到 -0.05% 的近无损压缩

原创2026-10-21 10:05:472,338 阅读

深入 8-bit Affine 量化:K2-Horizon-3.7B-8bit 凭什么做到 -0.05% 的近无损压缩

K2-Horizon-3.7B-8bit 是 IFM 的 3.7B 大模型 K2-Horizon-3.7B 的 8-bit Affine 量化 版本,专为 Apple Silicon(MLX 框架)打造:磁盘占用从 10.1 GB 降到 5.4 GB,WikiText-2 困惑度与 bf16 原版偏差仅 -0.05%(甚至更低),生成速度却提升了 67%。这篇文章带你搞懂它的量化原理、实测数据和上手方法。

8-bit Affine 量化到底是什么?🔍

"Affine"(仿射)是量化领域的标准玩法。简单说:把每个权重从 16 位浮点数压缩成一个 8 位整数,再借助一组参数还原出来:

原始权重 ≈ (量化后的整数 − bias) × scale

这里的 scale 和 bias 不是整层共享一组,而是每 64 个权重一组(group_size: 64),各自独立计算,并以 bf16 存储。这正是它"近无损"的第一块基石。仓库里可以清楚看到量化配置:

"quantization": {
    "group_size": 64,
    "bits": 8,
    "mode": "affine"
}

📄 对应位置:config.json

为什么标称 8-bit,实际是 8.5 bits/weight?

算一笔账:

  • 每组 64 个权重:64 × 8 bit = 512 bit
  • 每组附带 2 个 bf16 参数(scale + bias):2 × 16 bit = 32 bit
  • 合计 544 bit ÷ 64 = 8.5 bit/权重

模型共约 50.58 亿参数(见 model.safetensors.index.json),总大小 5,374,571,520 字节,除以参数数正好约等于 8.5 bit/weight——这就是 README 里"8.5 bits/weight effective"的由来。💾

凭什么是"近无损"?三个关键设计 ✅

1. 8-bit 精度本身足够"宽裕"

量化是"舍入",位宽越低舍入误差越大。8-bit 提供了 256 级量化档位,配合组内局部缩放,单个权重的舍入误差极小。作为对照,同系列的 4-bit 版本困惑度恶化了 +4.4%(18.324 vs 17.552),差距一目了然。

2. 每 64 权重一组,缩放参数"贴身定制"

不同层、不同通道的权重量级差异很大。如果整层共享一组 scale,小量级的权重会被"淹没"。--q-group-size 64 让每个小组都有自己的 scale 和 bias,正偏、负偏、大幅值、小数值都能被独立校准。量化命令很简单:

mlx_lm.convert -q --q-bits 8 --q-group-size 64

📄 详见:README.md

3. 该保真的地方一个 bit 都不省

量化"全量覆盖"了所有线性层和 embedding(embed_tokens、lm_head 也带 .scales / .biases),但路由模块刻意保留全精度。在 k2_horizon.py 中有明确说明:Router 是自定义模块而非标准 nn.Linear,量化流程会跳过它——因为路由误差会直接影响专家选择,属于"牵一发动全身"的敏感组件。同理,KV 缓存也保持 bf16,不做量化。

实测数据:速度、内存与质量一张表 ⚡

以下数据来自 Mac Studio M4 Max 128GB,三种精度同口径实测(📄 README.md):

指标 bf16 8-bit(本项目) 4-bit
Bits/weight 16 8.5 6.5
磁盘占用 10.1 GB 5.4 GB 4.1 GB
峰值内存 10.2 GB 5.5 GB 4.3 GB
WikiText-2 困惑度(越低越好) 17.552 17.544(-0.05%) 18.324(+4.4%)
生成速度 50.3 tok/s 84.2 tok/s 109.6 tok/s

两个值得注意的点:

  • 8-bit 的困惑度比 bf16 还略低。作者提醒:困惑度是粗糙信号,-0.05% 基本可视为"无损",具体任务表现请以自己的负载实测为准。
  • 长上下文要吃内存:KV 缓存约 144 KB/token(bf16),128K token 就要 18 GB。可用 --max-kv-size 限长,或在支持时用 --kv-bits 8 压缩缓存。📄 README.md

快速上手:三步跑起 K2-Horizon-3.7B-8bit 🚀

第 1 步:安装 mlx-lm

pip install -U mlx-lm

第 2 步:命令行直接生成

mlx_lm.generate --model mlx-community/K2-Horizon-3.7B-8bit --trust-remote-code --prompt "Explain mixture-of-experts in two sentences." --max-tokens 2048

第 3 步:Python 里加载

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/K2-Horizon-3.7B-8bit", trust_remote_code=True)

几个实用提示:

  • 需要 --trust-remote-code:因为仓库自带了 MLX 模型实现 k2_horizon.py,通过 config.json 中的 model_file 字段被 mlx-lm 加载。该文件顶部注释详细说明了它与官方 PyTorch 实现的 6 处差异,并且已经过逐层对拍验证(36 层全部吻合到 4e-6 相对误差以内)。
  • 模型回答前会先在 <ifm|think> … </ifm|think> 中"思考",max_tokens 要留出余量;推理强度可在 chat template 中用 reasoning_effort 设置(high/medium/low),模板见 chat_template.jinja。
  • 内存门槛友好:短提示峰值仅 5.5 GB,16 GB 的 Mac 就能跑。

仓库结构速览 📁

文件 作用
k2_horizon.py K2-Horizon 的 MLX 模型实现(Attention、MoVA、Router 等)
config.json 模型架构与量化参数(8-bit / group 64 / affine)
generation_config.json 生成时使用的起止 token 配置
chat_template.jinja 对话模板(含 think 标签与工具调用格式)
model.safetensors.index.json 权重索引:每个层的 weight/scales/biases 分布
README.md 量化方法、基准测试与完整使用文档

常见问题 FAQ 💬

Q:8-bit 版本效果真的和 bf16 一样吗? A:在 WikiText-2 上困惑度差仅 -0.05%,属于业界公认的"近无损"区间。作者也建议在自己的任务上实测后再做最终选择。

Q:什么情况下选 4-bit 版本? A:当内存是硬约束、且能接受约 4.4% 的困惑度上升时——4-bit 只需 4.3 GB 峰值内存,速度最快(109.6 tok/s)。

Q:mlx-lm 官方什么时候支持 k2_horizon 架构? A:支持落地后本仓库会移除自带代码改用官方实现。在此之前,--trust-remote-code 即可无缝运行。

总结

K2-Horizon-3.7B-8bit 证明了 8-bit Affine 量化的"甜点区":64 元素分组 + 组级 bf16 缩放/偏置 + 敏感组件保留全精度,用不到一半的磁盘和内存(5.4 GB / 5.5 GB),换来了近乎零的质量损失和 67% 的速度提升。如果你在 Apple Silicon 上跑本地大模型,它几乎是"无损压缩"的教科书级案例。

登录后查看全文
K2-Horizon-3.7B-8bit