K2-Horizon-7B-8bit 量化揭秘:8-bit 仿射量化如何让 7B 模型近乎无损地从 18 GB 压到 9.6 GB

原创2026-10-20 20:05:541,937 阅读

K2-Horizon-7B-8bit 量化揭秘:8-bit 仿射量化如何让 7B 模型近乎无损地从 18 GB 压到 9.6 GB

mlx-community/K2-Horizon-7B-8bit 是 IFM K2-Horizon-7B 的 8-bit MLX 量化版:通过仿射量化(affine quantization)把原本 18 GB 的 bf16 权重压到 9.6 GB,在 Apple Silicon 上峰值内存仅需 9.7 GB,而 WikiText-2 困惑度只比 bf16 高 0.2%——一次近乎无损的模型压缩。

为什么需要 8-bit 量化?

K2-Horizon-7B 是 IFM 的中型密集(dense)模型:36 层 decoder-only 结构,512K(524,288 token)上下文窗口,词表大小 250,624。按 config 里的参数计算,模型共约 90 亿参数(model.safetensors.index.json 中 total_parameters 为 8,999,178,240)。

参数量的直接后果就是体积:

版本 每权重比特数 磁盘体积 峰值内存
bf16 16 18.0 GB 18.1 GB
8-bit(本仓库) 8.5 9.6 GB 9.7 GB
4-bit 6.4 7.2 GB 7.3 GB

对普通用户来说,这决定了模型能不能"跑得起来":bf16 版需要 18 GB 统一内存,而 8-bit 版峰值 9.7 GB,一台 24 GB 的 Mac 就能流畅运行。

8-bit 仿射量化是怎么做的?

本仓库使用的量化方案由一行命令完成(README.md):

mlx_lm.convert -q --q-bits 8 --q-group-size 64

关键词是 affine(仿射) 和 group_size 64,它们共同定义了权重的存储方式。你可以把它理解成一次"分组缩放":

  1. 分组:把每个线性层的权重按 64 个一组切块(--q-group-size 64)。
  2. 量化:每组内用一个 bf16 的缩放因子(scale)和偏移量(bias)把 16-bit 浮点数映射成 8-bit 整数。这就是"仿射"的含义——对每个权重做一次 整数 × scale + bias 的线性还原,而不是粗暴地用同一个全局缩放系数。
  3. 全层覆盖:所有线性层(q/k/v/o_proj、gate/up/down_proj)和词嵌入(embed_tokens、lm_head)都被量化到 8-bit。

打开 model.safetensors.index.json 就能看到每个量化张量都拆成了三个键:

  • xxx.weight:8-bit 整数权重本体
  • xxx.scales:每组的 bf16 缩放因子
  • xxx.biases:每组的 bf16 偏移量

整数本体只有 8 bit,但每组额外的 scale/bias 开销让实际比特数升到 8.5 bits/weight——这也是表格里 9.6 GB 而不是 9.0 GB 的原因。分组越细,精度损失越小,元数据开销越大;64 是 MLX 量化中精度与开销的均衡点。

这套配置也如实记录在 config.json 里,运行时框架直接据此解码:

  • quantization:{"bits": 8, "group_size": 64, "mode": "affine"}

量化效果如何?困惑度只涨了 0.2%

"压缩"最怕的是质量崩塌。作者用 WikiText-2 测试集(128 × 512 tokens)对比了各量化版本:

bf16 8-bit 4-bit
WikiText-2 困惑度 14.738 14.762(+0.2%) 15.395(+4.5%)
生成速度(M4 Max 128GB) 29.3 tok/s 52.5 tok/s 69.0 tok/s

8-bit 的困惑度几乎与 bf16 持平,可以认为有效无损;而 4-bit 的 +4.5% 已能明显感知。更妙的是速度收益:8-bit 版 52.5 tok/s,比 bf16 版快了将近 80%——小整数在统一内存中的搬运带宽更高,压缩不仅省空间还提速。

除了宏观指标,作者还做了逐层的严格校验(README.md):MLX 移植代码与 IFM 官方 PyTorch 实现在 fp32 下逐层比对,36 层全部在 4e-6 相对误差内吻合,贪心生成 256 个 token 逐步一致。

如何在 Mac 上运行这个 8-bit 模型

安装与运行都很简单:

pip install -U mlx-lm
mlx_lm.generate --model mlx-community/K2-Horizon-7B-8bit --trust-remote-code \
  --prompt "用两句话解释混合专家模型" --max-tokens 2048

两个注意点:

  • --trust-remote-code 必带:mlx-lm 尚未内置 k2_horizon 架构,本仓库随附了 k2_horizon.py 作为模型代码,由 config.json 中的 model_file 字段加载。该文件会在你机器上执行,介意的人可以先读一遍——注释完整说明了它与 PyTorch 参考实现的差异。
  • 它会"先思考再回答":模型在 <ifm|think> … </ifm|think> 标签内进行推理,记得给 --max-tokens 留足余量;思考强度可通过 chat_template.jinja 的 reasoning_effort 参数设为 high(默认)/ medium / low。

需要获取模型文件时,可克隆仓库:

git clone https://gitcode.com/hf_mirrors/mlx-community/K2-Horizon-7B-8bit

(权重文件较大且由 Git LFS 托管,克隆时会自动拉取完整权重。)

长上下文提醒:KV 缓存才是内存大头

模型权重压到 9.7 GB 只解决了"静态内存"。K2-Horizon 的 bf16 KV 缓存约 144 KB/token,跑到 128K 上下文时缓存本身就要 18 GB——这比模型本身还大。缓解手段:

  • --max-kv-size:限制缓存 token 上限,超出部分自动驱逐;
  • --kv-bits 8:把 KV 缓存也量化到 8-bit,体积直接减半(视版本可用)。

所以短问答、写作、编程等场景 24 GB 的 Mac 完全够用;而真正的 512K 超长上下文,仍建议上更大内存的机型。

怎么选?bf16、8-bit 还是 4-bit

  • 追求最高质量、内存充裕(32 GB+):bf16 版是上限基准;
  • 24 GB Mac 或想兼顾速度与体积:8-bit 是本仓库的"甜点",损失可忽略且比 bf16 快近 80%;
  • 内存紧张(16 GB)或追求极限速度:4-bit 版 7.2 GB 即可跑,代价是 +4.5% 困惑度。

作者也提醒:困惑度是粗粒度信号,正式选型前建议用自己的任务实测。

总结

K2-Horizon-7B-8bit 展示了一次教科书级的模型压缩实践:8-bit + group_size 64 的仿射量化,把 7B 模型从 18 GB 压到 9.6 GB,困惑度损失仅 0.2%,生成速度还提升近一倍,24 GB 的 Mac 即可流畅使用。对想在 Apple Silicon 上本地跑长上下文推理模型的用户来说,这是质量、体积、速度三者平衡得最好的一档。

主要文件速览:

登录后查看全文
K2-Horizon-7B-8bit