Ternary-Bonsai-2-2B需要投机解码吗?llama.cpp推理性能实测与调优建议

原创2026-11-08 17:51:351,410 阅读

Ternary-Bonsai-2-2B需要投机解码吗?llama.cpp推理性能实测与调优建议

Ternary-Bonsai-2-2B 是一款 2B 级别的三值化(ternary)视觉语言模型,提供 GGUF 格式文件,可直接在 llama.cpp(CUDA、Metal、CPU)上运行。官方实测结论很明确:不需要投机解码——在这个参数量下,普通解码本身已经足够快,加草稿模型反而更慢。

结论先行:2B 小模型开投机解码会更慢

很多人看到"量化模型"就想到配合投机解码(speculative decoding)加速,但对 Ternary-Bonsai-2-2B 恰恰相反。官方在 README.md 的 Speculative Decoding 一节给出了实测结论:

  • 模型不附带草稿模型(draft model);
  • 2B 规模的单步解码开销本来就低,用 draft head 做投机解码,在日常提示词上实测比纯解码更慢;
  • 因此官方推荐配置就是普通解码(plain decoding)。

💡 记住一个判断法则:主模型越小、解码越便宜,投机解码的相对收益就越低,甚至为负。2B 模型属于"不值得加草稿模型"的典型区间。

0.5GB 跑 262K 上下文:模型规格速览

Ternary-Bonsai-2-2B 由 Qwen3.5-2B 派生(架构不变),语言权重采用三值 {-1, 0, +1} 加 FP16 分块缩放存储,语言模型体积从 FP16 的约 3.8 GB 压缩到 0.52 GB。

特性 规格
语言模型参数 约 1.88B(24 层,hidden 2048,embedding/LM head 共享)
视觉塔 约 0.33B,独立 mmproj 文件,仅在传入图片时加载
注意力 混合注意力:18 层线性注意力 + 6 层全注意力
上下文长度 262,144 tokens(继承自基座模型)
后端 llama.cpp:CUDA / Metal / CPU
许可证 Apache 2.0,见 LICENSE

仓库中共有 5 个 GGUF 文件,三种语言模型打包方式存的是同一套三值权重,区别只在存储布局和内核速度:

文件 内容 大小
Ternary-Bonsai-2-2B-PTQ1_0.gguf 语言模型,dense trits 0.43 GB
Ternary-Bonsai-2-2B-PQ2_0.gguf 语言模型,2-bit slots(默认推荐) 0.52 GB
Ternary-Bonsai-2-2B-Q2_0.gguf 语言模型,Q2_0 布局 0.55 GB
Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf 视觉塔(推荐) 0.36 GB
Ternary-Bonsai-2-2B-mmproj-BF16.gguf 视觉塔(参考精度) 0.67 GB

下载后可用 SHA256SUMS 校验文件完整性。

llama.cpp 推理性能配置:三条命令跑起来

纯文本推理(llama-cli)

./bin/llama-cli -m Ternary-Bonsai-2-2B-PQ2_0.gguf -ngl 99 -fa on \
  -p "Explain in three sentences why the sky is blue."

图片 + 文本(llama-mtmd-cli)

./bin/llama-mtmd-cli -m Ternary-Bonsai-2-2B-PQ2_0.gguf \
  --mmproj Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf -ngl 99 \
  --image photo.jpg -p "Describe this image."

两个实用细节:

  • 视觉投影器选 Q8_0:当前 fork 构建下,BF16 mmproj 在并发图片请求时可能让 llama-server 崩溃,Q8_0 不受影响且精度几乎相同。
  • 图片中小字识别差时,可加 --image-min-tokens 1024 提高图片 token 预算。

OpenAI 兼容服务(llama-server)

./bin/llama-server -m Ternary-Bonsai-2-2B-PQ2_0.gguf \
  --mmproj Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf -ngl 99 -fa on -c 32768 --port 8080

版本兼容注意

  • PTQ1_0 和 PQ2_0 需要 PrismML 的 llama.cpp fork(prism 分支)的自定义内核,上游 llama.cpp 会报 unknown type 拒绝加载;
  • Q2_0 上游 llama.cpp b11556 起即可运行,是上游兼容首选;
  • ⚠️ 过老的构建缺少配套的 Hadamard 激活运行时,会静默输出错误结果,请务必用新版本。

调优建议清单:采样参数与文件选择

官方推荐采样参数

模式 temperature top_p top_k min_p presence_penalty
Thinking(默认) 1.0 0.95 20 0.0 1.0
Non-thinking 0.7 0.80 20 0.0 1.5
  • presence penalty 在 GGUF 元数据中没有对应键,需要命令行或请求里显式传入;
  • 惩罚窗口用默认值(最近 64 token,--repeat-last-n 64);
  • 避免开启 thinking 时用贪心解码(temperature=0),部分提示词会卡在推理出不来。

输出长度

开启 thinking 时,即使简单问题也可能消耗 3,000+ 思考 token,建议至少预留 8,192 输出 token;只要短回答就关掉 thinking。

三种打包怎么选

场景 推荐文件
通用默认 PQ2_0:解包开销低,也是 Apple Silicon 上实测过的打包
显存/内存最紧张 PTQ1_0:最小的 0.43 GB 文件
使用上游 llama.cpp Q2_0:b11556+ 可直接运行

常见问题(FAQ)

Q:投机解码是不是量化模型的"标配加速"? 对 7B 以上的大模型可能有效,但 2B 级别解码本来就很便宜,官方实测加了 draft head 反而更慢,直接纯解码即可。

Q:为什么推理比预期慢? 先检查:是否用 -ngl 99 -fa on 把层放到 GPU 并开启 flash attention;是否误开了 thinking 模式导致长思考;vision 任务是否误用了 BF16 mmproj 触发异常路径。

Q:多轮对话要开多大的上下文? 架构支持 262K tokens,但实际按需设置(如 -c 32768),上下文越长 KV 缓存占用越大,别盲目拉满。


模型基于 Qwen3.5-2B,版权归属与开源声明见 NOTICE.txt。

登录后查看全文
Ternary-Bonsai-2-2B-gguf