为什么只压缩语言模型却保留 FP16 视觉塔?Ternary-Bonsai-2-2B-2bit 1.2GB 存储分配策略剖析

原创2026-10-20 09:11:071,357 阅读
文章标签:人工智能大模型基础模型多模态模型量化本地部署计算机视觉

为什么只压缩语言模型却保留 FP16 视觉塔?Ternary-Bonsai-2-2B-2bit 1.2GB 存储分配策略剖析

Ternary-Bonsai-2-2B-2bit 是面向 Apple Silicon 的 2B 级视觉语言模型压缩包:语言模型采用三值(ternary)2-bit 权重,视觉塔却原样保留 FP16,整个模型文件只有 1.2GB。这种"不对称"的大模型量化方案到底是怎么算账的?本文带你把 1.2GB 逐层拆开看。

一、模型档案:一个"半压缩"的多模态模型

先认识主角。Ternary-Bonsai-2-2B-2bit 基于 Qwen3.5-2B(架构未改动),通过 MLX 在 Apple Silicon 上本地运行,支持图文输入,继承 262K token 混合注意力上下文(18 层线性注意力 + 6 层全注意力)。它的核心"不对称"在于两套参数采用完全不同的精度策略 🧩:

组件 参数量 存储精度 说明
语言模型 ~1.88B 三值 2-bit(group 128) 权重只取 {−1, 0, +1},MLX affine 格式
视觉塔 ~0.33B FP16 官方视觉塔,未旋转、未量化
其他状态 少量 FP32 线性注意力的 SSM 状态参数

规格细节可查 config.json:quantization 明确写着 bits: 2, group_size: 128, mode: affine,而 components 字段声明了 text: true, vision: true, mtp: false。

二、1.2GB 账单:每一字节花在了哪里

model.safetensors 的精确大小在 files.json 里记录为 1,200,284,784 字节 ≈ 1.20 GB。这笔账单可以心算出来:

  • 视觉塔(FP16):0.33B × 2 字节 ≈ 0.66 GB,约占文件的 55%
  • 语言模型(2-bit):1.88B × 0.25 字节 ≈ 0.47 GB,再加每组 128 个权重一份 scale + bias 的开销(约 0.06 GB),合计 ≈ 0.53 GB

💡 关键对比:README 中注明 FP16 语言模型约需 3.8 GB。也就是说,三值化直接把占大头的语言模型砍掉了约 75%;而如果把视觉塔也压到 2-bit,理论上还能再省一半。所以 1.2GB 这个"看起来不算极致"的数字,本质上是视觉塔 FP16 的 0.66 GB 托了底。

三、语言模型为什么敢压到 2-bit

三值权重的"无损"解码

这是理解整个方案的钥匙。三值模型训练完成后,每个权重本来就只可能是 −1、0、+1 三个值之一——2-bit 编码在数学上恰好够用。MLX 的 affine 2-bit 格式每 128 个权重存一组 scale 和 bias(bias 取 −scale 实现居中),解包时能精确还原出与存储前完全一致的三值权重,不存在额外精度损失。这正是 README.md 所说的 "the weights decode to exactly the same ternary values"。

Hadamard 旋转"折叠"进权重

为了让 2-bit 量化误差更均匀,该模型把分块 Hadamard 旋转(block 512)预先折叠进存储的权重里,运行时再由加载器对激活值做匹配的变换补回来。旋转规则记录在 hadamard.json 中,运行时实现见 runtime/runtime.py 的 fwht 函数(forward Walsh–Hadamard transform)——这也是该包不能直接用 mlx_lm.load() 加载、必须走自带运行时的原因。

格式转码保持无损

打包工具 runtime/codec.py 实现了 PQ2_0/PTQ1_0 到 MLX affine 2-bit 的无损转码:2-bit 码字按组重排后,配合 scale/bias 做 groups * scales + biases 重建,逐值核验。

四、视觉塔保留 FP16 的 3 个理由

理由 1:参数只占约 15%,压缩收益有限

视觉塔 0.33B 参数对比语言模型 1.88B 是小头。把省下的 0.3~0.4 GB 与工程复杂度、潜在精度风险相比,性价比不高——与其勉强压缩,不如把压缩火力集中到占 85% 参数的语言模型上。

理由 2:官方视觉塔,免旋转、免变换

语言模型那 150 多个投影层(MLP 的 gate/up/down_proj、注意力的 q/k/v/o_proj 及线性注意力投影)全部折叠了 Hadamard 变换,需要配套运行时才能正确前向;而视觉塔来自官方 Qwen 塔,不需要任何变换。runtime/vision_artifact.py 的注释说得很直白:

The vision tower is the stock Qwen tower: unrotated, unquantized, plain FP16 passthrough.

加载器只在语言模型上"安装"打包层,视觉权重走标准 load_weights 直通路径,加载链路更简单也更不易出错。PACK-RUNTIME.md 同样强调 "the tower is unrotated FP16 passthrough and needs no transform"。

理由 3:给感知质量留一个"保险丝"

量化误差在深层网络中会累积,语言模型有三值训练 + Hadamard 均衡保驾,视觉编码器则属于"原封未动"的官方组件——输入图像的理解质量由此锁定在与官方一致的基线上,不引入任何新变量。

五、用配置文件"验货":策略是显式声明的

这套分配策略不是黑盒,你可以在仓库里逐项核对 ✅:

验证点 位置 结论
打包模块清单 config.json 的 modules 151 条全部指向 model.layers.* 的语言模型投影与 embed_tokens,没有一条来自视觉塔
变换清单 hadamard.json 的 weight_names 全部是 language_model.* 张量名
组件声明 config.json 的 components text 与 vision 均为 true,MTP 未包含
重载校验 reload-validation.json reload_logits_exact: true,152 个打包模块,逐词表 logit 完全一致

六、对你意味着什么

  • 📦 下载量 1.2GB:在 Apple Silicon 上通过 MLX 原生运行,文本模式同样可用(不传图片即可纯文本对话)
  • 🚀 快速上手:mlx-vlm >= 0.7.8 可原生加载该包(model_type: prism_hadamard_qwen35);旧版本用 quickstart.py 加 runtime/ 自带加载器,契约说明见 PACK-RUNTIME.md
  • ⚙️ 采样参数:思考模式建议 temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.0;短回答可关闭 thinking
  • ⚖️ 权衡取舍:1.2GB 中约一半是 FP16 视觉塔。若你的存储极端紧张,可以等同类方案的视觉侧量化版本;而当前版本用"小头不压、大头狠压"的分配,换来了完整的官方视觉质量与最简加载路径

一句话总结:Ternary-Bonsai-2-2B-2bit 的 1.2GB 并非均匀压缩的结果,而是一次精打细算的分配——语言模型享受三值 2-bit 的 4/5 体积削减,视觉塔则以 15% 的参数成本换取零变换、零损失的 FP16 直通。

登录后查看全文
Ternary-Bonsai-2-2B-2bit