1.2GB 的 2B 视觉大模型有多强?Ternary-Bonsai-2-2B-2bit 三值量化模型完全解析

原创2026-10-19 15:04:091,967 阅读
文章标签:人工智能大模型基础模型多模态模型量化本地部署计算机视觉

1.2GB 的 2B 视觉大模型有多强?Ternary-Bonsai-2-2B-2bit 三值量化模型完全解析

Ternary-Bonsai-2-2B-2bit 是一个面向 Apple Silicon 的 2B 视觉语言模型(VLM),靠 三值量化(ternary quantization) 把语言模型权重压到 1.20GB——同等能力的 FP16 模型要占约 3.8GB。它基于 Qwen3.5-2B,支持 262K 超长上下文,视觉塔保留 FP16 精度,是端侧(on-device)部署"小体积多模态大模型"的优质选择。

📦 核心亮点速览

维度 参数
磁盘占用 1.20GB(语言模型 2bit + 视觉塔 FP16)
对比 FP16 语言模型 ~3.8GB → 压缩约 3.2 倍
基座模型 Qwen3.5-2B(架构不变)
参数量 语言模型 ~1.88B(24 层,hidden 2048)+ 视觉塔 ~0.33B
权重格式 三值 {−1, 0, +1},MLX 仿射 2-bit,group 128
上下文长度 262,144 token
运行后端 MLX on Apple Silicon(Metal)
许可协议 Apache 2.0

💡 一句话总结:"更小的模型、同样的眼睛、更长的记忆"——它牺牲了语言权重的位宽,保住了视觉塔和长上下文能力。

三值量化到底省在哪?从 3.8GB 到 1.2GB 的原理

一句话:每个权重只保留 −1、0、+1 三个取值,而不是 16 位浮点数。

  • 传统 FP16:每个权重占 2 字节,2B 参数 ≈ 3.8GB
  • 三值量化:每个权重仅需 2bit 表达,MLX 用 group 128 的仿射量化为每 128 个权重存一组 scale 和 bias
  • 结果:语言模型从 ~3.8GB 压到 1.20GB

打个比方:FP16 像给每个权重发一张"高精度身份证";三值量化只记"正 / 负 / 零",再靠一套聪明的数学把精度补回来。

关键机制:Hadamard 旋转。 单纯把权重砍成三值会损失精度,Ternary-Bonsai 用分块 Hadamard 旋转把误差"摊平"到各个方向,并把旋转直接折叠进存储的权重里。运行时会对激活值做对应的变换(Fast Walsh-Hadamard Transform,源码见 runtime/runtime.py),最终解码出来的仍是精确的三值权重。这正是模型类型被命名为 prism_hadamard_qwen35 的原因,转义码的无损转码逻辑在 runtime/codec.py。

⚡ 262K 上下文:混合注意力架构

长上下文最怕的是"KV 缓存吃内存"。Ternary-Bonsai 继承自 Qwen3.5-2B 的 hybrid-attention 混合注意力:24 层里 18 层用线性注意力(linear attention)+ 6 层用全注意力(full attention),每 4 层插入一次全注意力。

  • 线性注意力层让长序列的显存/内存占用不再随长度线性暴涨
  • 全注意力层保证关键位置的建模质量
  • 配合三值量化后的小模型,262K token 上下文在端侧设备上也跑得动

这一层结构定义在 config.json 的 layer_types 字段里。

👁 视觉能力:保留 FP16 的视觉塔

很多极致量化方案会把"眼睛"也一起砍掉,导致看图变差。Ternary-Bonsai 的策略很务实:

  • 语言模型 → 三值 2bit(省空间的大头)
  • 视觉塔 → 保持 FP16 不旋转、不量化,走官方 Qwen 视觉塔,保证图像理解质量

加载逻辑见 runtime/vision_artifact.py:它会构建 mlx-vlm 的 qwen3_5 模型,只把"打包过的量化层"装进语言模型,视觉塔原样直通。因此它能做图文混合输入(image-text-to-text)。

🚀 如何在 Apple Silicon 上快速部署

方式一(推荐):mlx-vlm ≥ 0.7.8 原生加载

hf download prism-ml/Ternary-Bonsai-2-2B-mlx-2bit --local-dir bonsai2-2b-mlx
pip install "mlx-vlm>=0.7.8"

新版 mlx-vlm 能直接识别 model_type: prism_hadamard_qwen35 并原生加载。

方式二:用仓库自带的 runtime 加载器(兼容旧版 mlx-vlm)

pip install -r runtime/requirements.txt
python quickstart.py "你的问题"

quickstart.py 是一条命令的冒烟测试:关闭思考模式、最多生成 256 token、并显式带上推荐采样参数。它的依赖被锁定在 runtime/requirements.txt(mlx==0.32.0、mlx-vlm==0.6.3、transformers==5.5.0 等),保证环境可复现。

⚠️ 注意:当前发布的 mlx-lm 暂不支持此包,会报 Unsupported model type: prism_hadamard_qwen35,这是预期行为——请用上面的 mlx-vlm 或自带 runtime 加载。

🎛 生成参数:思考模式 vs 非思考模式

官方给出两套推荐采样设置,务必显式传入(mlx-vlm 的 generate() 默认是贪心解码):

模式 temperature top_p top_k presence_penalty
思考模式(默认) 1.0 0.95 20 1.0
非思考模式 0.7 0.80 20 1.5

两条实用建议:

  1. 思考模式要给足输出长度:简单问题也可能用上 3000+ 思考 token,建议至少留 8192 输出上限;想要短回答就关掉思考(渲染模板时 enable_thinking=False)。
  2. 避免思考模式下贪心解码:容易卡在某段推理里出不来。

默认采样值来自 generation_config.json。

📁 仓库文件一览

文件 说明
model.safetensors 权重:语言模型 2bit + 视觉塔 FP16(1.20GB)
config.json 模型结构、量化配置、模块清单
hadamard.json Hadamard 旋转元数据(v1 Prism 契约)
chat_template.jinja 对话模板
generation_config.json 采样参数与结束 token
tokenizer.json / tokenizer_config.json 分词器(词汇表 248320)
runtime/ 自带加载器 + 锁定依赖
quickstart.py 一条命令测试脚本
PACK-RUNTIME.md 自带加载器的契约与限制
files.json 全文件 SHA-256 校验,确保下载完整
reload-validation.json / tokenizer-validation.json 序列化与分词器一致性校验

🔐 完整性说明:reload-validation.json 显示 reload_logits_exact: true(248320 个 logits 全部精确),意味着权重重载后与训练时逐位一致——量化没有引入"重载漂移"。

❓ 常见问题(FAQ)

Q1:为什么体积比 FP16 小这么多? A:核心是三值量化——语言权重从 2 字节/参数降到 2bit/参数(group 128),配合 Hadamard 旋转保住精度,所以 3.8GB → 1.20GB。

Q2:能跑纯文本(不给图片)吗? A:可以。不传图片就是纯文本对话;给图片则走视觉塔做图文理解。

Q3:支持 CUDA / CPU 吗? A:本包是 MLX / Apple Silicon 版。需要 CUDA、CPU 或 llama.cpp 时,应使用同一套权重的 GGUF 版本。

Q4:模型能力到底够不够用? A:它是 2B 级轻量模型,主打"小、快、省内存、端侧可跑 + 超长上下文 + 图文理解"。若追求最高精度,它牺牲了部分语言位宽;对端侧和多模态轻量场景,它是高性价比的三值量化选择。


一句话回顾:Ternary-Bonsai-2-2B-2bit 用三值量化 + Hadamard 旋转,把 2B 视觉大模型压进 1.20GB,同时保留 FP16 视觉塔和 262K 上下文,是 Apple Silicon 端侧部署"又小又聪明"多模态模型的完整方案。

登录后查看全文
Ternary-Bonsai-2-2B-2bit