PTQ1_0、PQ2_0还是Q2_0:Ternary-Bonsai-2-2B三种打包格式怎么选?完整指南
PTQ1_0、PQ2_0还是Q2_0:Ternary-Bonsai-2-2B三种打包格式怎么选?完整指南
Ternary-Bonsai-2-2B-gguf 是 Prism ML 发布的 2B 级视觉语言模型 GGUF 量化仓库,面向 llama.cpp(CUDA / Metal / CPU)本地部署。仓库里最让人纠结的就是三个语言模型文件:Ternary-Bonsai-2-2B-PTQ1_0.gguf、Ternary-Bonsai-2-2B-PQ2_0.gguf 和 Ternary-Bonsai-2-2B-Q2_0.gguf。别担心——它们装的是同一套权重,区别只在存储布局和运行速度,本文一次讲清该选哪个。
为什么会有三个"2B"文件?
很多人以为文件名不同 = 量化精度不同,其实不是。
这三个文件保存的是完全相同的三值(ternary)权重:每个权重只有 {-1, 0, +1} 三个取值,再配合 FP16 分组缩放系数还原数值。它们只是被"打包"成了三种不同的二进制布局,由各自配套的专用内核直接消费,运行时不会解压回 FP16。
换句话说:不存在"哪个更准"的问题,只有"哪个更适合你环境"的问题。 🎯
三种格式核心参数对比
| 打包格式 | 文件大小 | 每权重位数 | 特点 | 推荐场景 |
|---|---|---|---|---|
| PQ2_0 | 0.52 GB | ~2.20 | 2-bit 槽位存储,默认格式 | 大多数用户的默认选择 ✅ |
| PTQ1_0 | 0.43 GB | ~1.83 | 稠密 trits,文件最小 | 内存/显存最紧张的设备 |
| Q2_0 | 0.55 GB | ~2.33 | 通用布局,兼容性最好 | 使用官方原版 llama.cpp |
💡 文件从 FP16 的 ~3.8 GB 压缩到 ~0.52 GB(PQ2_0),这正是三值量化的威力。
30 秒快速决策指南
按优先级直接对号入座:
- Q2_0 兼容性第一:如果你不想折腾编译、只想用官方原版 llama.cpp,直接选
Q2_0(需 b11556 或更新的版本)。 - PQ2_0 综合最优:官方默认格式,解包开销更低,也是官方在 Apple Silicon 上实测过的组合,大多数情况选它不会错。
- PTQ1_0 极致省内存:设备内存非常紧张(如低显存 GPU、轻量边缘设备)时,0.43 GB 的最小体积最省资源。
一句话总结:先问自己用哪个 llama.cpp,再问自己内存多紧张,剩下的交给 PQ2_0 默认值。
关键差异:llama.cpp 版本决定可用性
这是选择时最容易被忽略的一点 ⚠️:
- PTQ1_0 和 PQ2_0:只有 PrismML 的 llama.cpp 分支(
prism分支,提供预编译包)支持。原版 llama.cpp 还没有这两种数据类型,加载时会直接报"unknown type"拒绝加载。 - Q2_0:原版 llama.cpp 自 b11556 起内置了所需 Hadamard 激活运行时,文本和图片输入均可运行。旧版本缺少该运行时且不会给出任何警告,只会输出错误内容,所以务必使用当前版本。
# 官方分支支持三种格式;原版 llama.cpp 只认 Q2_0
llama-cli -m Ternary-Bonsai-2-2B-PQ2_0.gguf -ngl 99 -fa on \
-p "用三句话解释天空为什么是蓝色的。"
视觉模型(mmproj)怎么配?
三种语言模型打包共用同一对视觉塔文件,按场景二选一:
| 文件 | 大小 | 说明 |
|---|---|---|
| Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf | 0.36 GB | 官方推荐,质量几乎无损 |
| Ternary-Bonsai-2-2B-mmproj-BF16.gguf | 0.67 GB | 参考精度;当前分支构建下高并发图像请求可能崩溃,谨慎使用 |
图像+文本推理示例:
llama-mtmd-cli -m Ternary-Bonsai-2-2B-PQ2_0.gguf \
--mmproj Ternary-Bonsai-2-2B-mmproj-Q8_0.gguf -ngl 99 \
--image photo.jpg -p "Describe this image."
📌 小提示:图片中有小字或密集文字时,可加 --image-min-tokens 1024 提高图像 token 预算,识别效果会更好。
下载与使用建议
校验文件完整性
仓库提供了 SHA256SUMS,下载后可核对哈希值,避免 LFS 占位文件或损坏文件:
sha256sum -c SHA256SUMS
采样参数(三种格式通用)
| 模式 | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| 思考模式(默认) | 1.0 | 0.95 | 20 | 1.0 |
| 非思考模式 | 0.7 | 0.80 | 20 | 1.5 |
- 思考模式下输出长度至少预留 8192 tokens(简单提问也可能消耗 3000+ 思考 token)。
- 开启思考时避免贪心解码(
temperature=0),部分提示词会陷入推理死循环。 - 简单任务可直接关闭思考模式,响应更快。
常见疑问 FAQ
Q1:三种格式生成的内容质量有差别吗? 没有。三种打包持有完全相同的三值权重,差异仅在文件体积、解包开销与内核速度,不属于"量化等级"的差异。
Q2:为什么我的 llama.cpp 加载 PTQ1_0 报 unknown type?
原版 llama.cpp 尚未收录 PTQ1_0 / PQ2_0 数据类型。改用 PrismML 分支构建,或换用 Q2_0 文件即可。
Q3:能跑多长的上下文? 继承自基础模型 Qwen3.5-2B 混合注意力架构(18 层线性注意力 + 6 层全注意力),支持 262,144 tokens 上下文,实际可用长度取决于显存。
Q4:需要投机解码(speculative decoding)吗? 官方测试显示,2B 规模下解码步骤本身已经很便宜,带 draft 头的投机解码反而更慢,推荐普通解码。
总结:一句话选型清单
- 默认首选 →
PQ2_0(0.52 GB,官方默认 + Apple Silicon 实测组合) - 内存告急 →
PTQ1_0(0.43 GB,最小体积,需 PrismML 分支) - 用官方 llama.cpp →
Q2_0(0.55 GB,b11556+ 可直接运行) - 视觉输入 → 搭配
mmproj-Q8_0(0.36 GB,稳定且质量接近无损)
三种文件装的是同一个" Bonsai 之心",选对打包、配对运行环境,你的本地视觉语言模型就能立刻跑起来。🚀