Ternary-Bonsai-2-2B需要投机解码吗?llama.cpp推理性能实测与调优建议
Ternary-Bonsai-2-2B需要投机解码吗?llama.cpp推理性能实测与调优建议
Ternary-Bonsai-2-2B 是一款 2B 级别的三值化(ternary)视觉语言模型,提供 GGUF 格式文件,可直接在 llama.cpp(CUDA、Metal、CPU)上运行。官方实测结论很明确:不需要投机解码——在这个参数量下,普通解码本身已经足够快,加草稿模型反而更慢。
结论先行:2B 小模型开投机解码会更慢
很多人看到"量化模型"就想到配合投机解码(speculative decoding)加速,但对 Ternary-Bonsai-2-2B 恰恰相反。官方在 README.md 的 Speculative Decoding 一节给出了实测结论:
- 模型不附带草稿模型(draft model);
- 2B 规模的单步解码开销本来就低,用 draft head 做投机解码,在日常提示词上实测比纯解码更慢;
- 因此官方推荐配置就是普通解码(plain decoding)。
💡 记住一个判断法则:主模型越小、解码越便宜,投机解码的相对收益就越低,甚至为负。2B 模型属于"不值得加草稿模型"的典型区间。
0.5GB 跑 262K 上下文:模型规格速览
Ternary-Bonsai-2-2B 由 Qwen3.5-2B 派生(架构不变),语言权重采用三值 {-1, 0, +1} 加 FP16 分块缩放存储,语言模型体积从 FP16 的约 3.8 GB 压缩到 0.52 GB。
| 特性 | 规格 |
|---|---|
| 语言模型参数 | 约 1.88B(24 层,hidden 2048,embedding/LM head 共享) |
| 视觉塔 | 约 0.33B,独立 mmproj 文件,仅在传入图片时加载 |
| 注意力 | 混合注意力:18 层线性注意力 + 6 层全注意力 |
| 上下文长度 | 262,144 tokens(继承自基座模型) |
| 后端 | llama.cpp:CUDA / Metal / CPU |
| 许可证 | Apache 2.0,见 LICENSE |
仓库中共有 5 个 GGUF 文件,三种语言模型打包方式存的是同一套三值权重,区别只在存储布局和内核速度:
| 文件 | 内容 | 大小 |
|---|---|---|
| Ternary-Bonsai-2-2B-PTQ1_0.gguf | 语言模型,dense trits | 0.43 GB |
| Ternary-Bonsai-2-2B-PQ2_0.gguf | 语言模型,2-bit slots(默认推荐) | 0.52 GB |
| Ternary-Bonsai-2-2B-Q2_0.gguf | 语言模型,Q2_0 布局 | 0.55 GB |
| Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf | 视觉塔(推荐) | 0.36 GB |
| Ternary-Bonsai-2-2B-mmproj-BF16.gguf | 视觉塔(参考精度) | 0.67 GB |
下载后可用 SHA256SUMS 校验文件完整性。
llama.cpp 推理性能配置:三条命令跑起来
纯文本推理(llama-cli)
./bin/llama-cli -m Ternary-Bonsai-2-2B-PQ2_0.gguf -ngl 99 -fa on \
-p "Explain in three sentences why the sky is blue."
图片 + 文本(llama-mtmd-cli)
./bin/llama-mtmd-cli -m Ternary-Bonsai-2-2B-PQ2_0.gguf \
--mmproj Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf -ngl 99 \
--image photo.jpg -p "Describe this image."
两个实用细节:
- 视觉投影器选 Q8_0:当前 fork 构建下,BF16 mmproj 在并发图片请求时可能让 llama-server 崩溃,Q8_0 不受影响且精度几乎相同。
- 图片中小字识别差时,可加
--image-min-tokens 1024提高图片 token 预算。
OpenAI 兼容服务(llama-server)
./bin/llama-server -m Ternary-Bonsai-2-2B-PQ2_0.gguf \
--mmproj Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf -ngl 99 -fa on -c 32768 --port 8080
版本兼容注意
PTQ1_0和PQ2_0需要 PrismML 的 llama.cpp fork(prism分支)的自定义内核,上游 llama.cpp 会报 unknown type 拒绝加载;Q2_0上游 llama.cpp b11556 起即可运行,是上游兼容首选;- ⚠️ 过老的构建缺少配套的 Hadamard 激活运行时,会静默输出错误结果,请务必用新版本。
调优建议清单:采样参数与文件选择
官方推荐采样参数
| 模式 | temperature | top_p | top_k | min_p | presence_penalty |
|---|---|---|---|---|---|
| Thinking(默认) | 1.0 | 0.95 | 20 | 0.0 | 1.0 |
| Non-thinking | 0.7 | 0.80 | 20 | 0.0 | 1.5 |
- presence penalty 在 GGUF 元数据中没有对应键,需要命令行或请求里显式传入;
- 惩罚窗口用默认值(最近 64 token,
--repeat-last-n 64); - 避免开启 thinking 时用贪心解码(temperature=0),部分提示词会卡在推理出不来。
输出长度
开启 thinking 时,即使简单问题也可能消耗 3,000+ 思考 token,建议至少预留 8,192 输出 token;只要短回答就关掉 thinking。
三种打包怎么选
| 场景 | 推荐文件 |
|---|---|
| 通用默认 | PQ2_0:解包开销低,也是 Apple Silicon 上实测过的打包 |
| 显存/内存最紧张 | PTQ1_0:最小的 0.43 GB 文件 |
| 使用上游 llama.cpp | Q2_0:b11556+ 可直接运行 |
常见问题(FAQ)
Q:投机解码是不是量化模型的"标配加速"? 对 7B 以上的大模型可能有效,但 2B 级别解码本来就很便宜,官方实测加了 draft head 反而更慢,直接纯解码即可。
Q:为什么推理比预期慢?
先检查:是否用 -ngl 99 -fa on 把层放到 GPU 并开启 flash attention;是否误开了 thinking 模式导致长思考;vision 任务是否误用了 BF16 mmproj 触发异常路径。
Q:多轮对话要开多大的上下文?
架构支持 262K tokens,但实际按需设置(如 -c 32768),上下文越长 KV 缓存占用越大,别盲目拉满。
模型基于 Qwen3.5-2B,版权归属与开源声明见 NOTICE.txt。