1.2GB 的 2B 视觉大模型有多强?Ternary-Bonsai-2-2B-2bit 三值量化模型完全解析
1.2GB 的 2B 视觉大模型有多强?Ternary-Bonsai-2-2B-2bit 三值量化模型完全解析
Ternary-Bonsai-2-2B-2bit 是一个面向 Apple Silicon 的 2B 视觉语言模型(VLM),靠 三值量化(ternary quantization) 把语言模型权重压到 1.20GB——同等能力的 FP16 模型要占约 3.8GB。它基于 Qwen3.5-2B,支持 262K 超长上下文,视觉塔保留 FP16 精度,是端侧(on-device)部署"小体积多模态大模型"的优质选择。
📦 核心亮点速览
| 维度 | 参数 |
|---|---|
| 磁盘占用 | 1.20GB(语言模型 2bit + 视觉塔 FP16) |
| 对比 FP16 | 语言模型 ~3.8GB → 压缩约 3.2 倍 |
| 基座模型 | Qwen3.5-2B(架构不变) |
| 参数量 | 语言模型 ~1.88B(24 层,hidden 2048)+ 视觉塔 ~0.33B |
| 权重格式 | 三值 {−1, 0, +1},MLX 仿射 2-bit,group 128 |
| 上下文长度 | 262,144 token |
| 运行后端 | MLX on Apple Silicon(Metal) |
| 许可协议 | Apache 2.0 |
💡 一句话总结:"更小的模型、同样的眼睛、更长的记忆"——它牺牲了语言权重的位宽,保住了视觉塔和长上下文能力。
三值量化到底省在哪?从 3.8GB 到 1.2GB 的原理
一句话:每个权重只保留 −1、0、+1 三个取值,而不是 16 位浮点数。
- 传统 FP16:每个权重占 2 字节,2B 参数 ≈ 3.8GB
- 三值量化:每个权重仅需 2bit 表达,MLX 用 group 128 的仿射量化为每 128 个权重存一组 scale 和 bias
- 结果:语言模型从 ~3.8GB 压到 1.20GB
打个比方:FP16 像给每个权重发一张"高精度身份证";三值量化只记"正 / 负 / 零",再靠一套聪明的数学把精度补回来。
关键机制:Hadamard 旋转。 单纯把权重砍成三值会损失精度,Ternary-Bonsai 用分块 Hadamard 旋转把误差"摊平"到各个方向,并把旋转直接折叠进存储的权重里。运行时会对激活值做对应的变换(Fast Walsh-Hadamard Transform,源码见 runtime/runtime.py),最终解码出来的仍是精确的三值权重。这正是模型类型被命名为 prism_hadamard_qwen35 的原因,转义码的无损转码逻辑在 runtime/codec.py。
⚡ 262K 上下文:混合注意力架构
长上下文最怕的是"KV 缓存吃内存"。Ternary-Bonsai 继承自 Qwen3.5-2B 的 hybrid-attention 混合注意力:24 层里 18 层用线性注意力(linear attention)+ 6 层用全注意力(full attention),每 4 层插入一次全注意力。
- 线性注意力层让长序列的显存/内存占用不再随长度线性暴涨
- 全注意力层保证关键位置的建模质量
- 配合三值量化后的小模型,262K token 上下文在端侧设备上也跑得动
这一层结构定义在 config.json 的 layer_types 字段里。
👁 视觉能力:保留 FP16 的视觉塔
很多极致量化方案会把"眼睛"也一起砍掉,导致看图变差。Ternary-Bonsai 的策略很务实:
- 语言模型 → 三值 2bit(省空间的大头)
- 视觉塔 → 保持 FP16 不旋转、不量化,走官方 Qwen 视觉塔,保证图像理解质量
加载逻辑见 runtime/vision_artifact.py:它会构建 mlx-vlm 的 qwen3_5 模型,只把"打包过的量化层"装进语言模型,视觉塔原样直通。因此它能做图文混合输入(image-text-to-text)。
🚀 如何在 Apple Silicon 上快速部署
方式一(推荐):mlx-vlm ≥ 0.7.8 原生加载
hf download prism-ml/Ternary-Bonsai-2-2B-mlx-2bit --local-dir bonsai2-2b-mlx
pip install "mlx-vlm>=0.7.8"
新版 mlx-vlm 能直接识别 model_type: prism_hadamard_qwen35 并原生加载。
方式二:用仓库自带的 runtime 加载器(兼容旧版 mlx-vlm)
pip install -r runtime/requirements.txt
python quickstart.py "你的问题"
quickstart.py 是一条命令的冒烟测试:关闭思考模式、最多生成 256 token、并显式带上推荐采样参数。它的依赖被锁定在 runtime/requirements.txt(mlx==0.32.0、mlx-vlm==0.6.3、transformers==5.5.0 等),保证环境可复现。
⚠️ 注意:当前发布的
mlx-lm暂不支持此包,会报Unsupported model type: prism_hadamard_qwen35,这是预期行为——请用上面的 mlx-vlm 或自带 runtime 加载。
🎛 生成参数:思考模式 vs 非思考模式
官方给出两套推荐采样设置,务必显式传入(mlx-vlm 的 generate() 默认是贪心解码):
| 模式 | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| 思考模式(默认) | 1.0 | 0.95 | 20 | 1.0 |
| 非思考模式 | 0.7 | 0.80 | 20 | 1.5 |
两条实用建议:
- 思考模式要给足输出长度:简单问题也可能用上 3000+ 思考 token,建议至少留 8192 输出上限;想要短回答就关掉思考(渲染模板时
enable_thinking=False)。 - 避免思考模式下贪心解码:容易卡在某段推理里出不来。
默认采样值来自 generation_config.json。
📁 仓库文件一览
| 文件 | 说明 |
|---|---|
| model.safetensors | 权重:语言模型 2bit + 视觉塔 FP16(1.20GB) |
| config.json | 模型结构、量化配置、模块清单 |
| hadamard.json | Hadamard 旋转元数据(v1 Prism 契约) |
| chat_template.jinja | 对话模板 |
| generation_config.json | 采样参数与结束 token |
| tokenizer.json / tokenizer_config.json | 分词器(词汇表 248320) |
| runtime/ | 自带加载器 + 锁定依赖 |
| quickstart.py | 一条命令测试脚本 |
| PACK-RUNTIME.md | 自带加载器的契约与限制 |
| files.json | 全文件 SHA-256 校验,确保下载完整 |
| reload-validation.json / tokenizer-validation.json | 序列化与分词器一致性校验 |
🔐 完整性说明:reload-validation.json 显示
reload_logits_exact: true(248320 个 logits 全部精确),意味着权重重载后与训练时逐位一致——量化没有引入"重载漂移"。
❓ 常见问题(FAQ)
Q1:为什么体积比 FP16 小这么多? A:核心是三值量化——语言权重从 2 字节/参数降到 2bit/参数(group 128),配合 Hadamard 旋转保住精度,所以 3.8GB → 1.20GB。
Q2:能跑纯文本(不给图片)吗? A:可以。不传图片就是纯文本对话;给图片则走视觉塔做图文理解。
Q3:支持 CUDA / CPU 吗? A:本包是 MLX / Apple Silicon 版。需要 CUDA、CPU 或 llama.cpp 时,应使用同一套权重的 GGUF 版本。
Q4:模型能力到底够不够用? A:它是 2B 级轻量模型,主打"小、快、省内存、端侧可跑 + 超长上下文 + 图文理解"。若追求最高精度,它牺牲了部分语言位宽;对端侧和多模态轻量场景,它是高性价比的三值量化选择。
一句话回顾:Ternary-Bonsai-2-2B-2bit 用三值量化 + Hadamard 旋转,把 2B 视觉大模型压进 1.20GB,同时保留 FP16 视觉塔和 262K 上下文,是 Apple Silicon 端侧部署"又小又聪明"多模态模型的完整方案。