PQ2_0 还是 PTQ1_0?Bonsai 2 两种 GGUF 量化格式横评,选型焦虑一次解决
PQ2_0 还是 PTQ1_0?Bonsai 2 两种 GGUF 量化格式横评,选型焦虑一次解决
打开 Bonsai 2 的下载页面,很多人第一眼就懵了。
同一个 27B 大模型,摆着两个压缩包:一个 5.95GB,一个 7.21GB,名字还长得像验证码——PTQ1_0、PQ2_0。差着 1.26GB,到底下哪个?
最近科技圈被这个“三进制大模型”刷屏,理由很朴素:一个 270 亿参数的大模型,居然能塞进一张 16GB 消费级显卡,甚至能在一台普通笔记本上流畅说话。而所有新玩家的第一道坎,不是装环境,是选文件。
今天就把这 1.26GB 的差别掰开揉碎讲清楚。先给结论:两个版本的“脑子”一模一样,不存在谁更聪明,差别只在“打包方式”和你那张显卡的脾气。
一、先搞懂:27B 怎么被塞进 6GB 的?
传统大模型里,每个参数就像一个精细旋钮,可以拧到 0.3721 这种精确位置,存下来要占 16 位。
Bonsai 2 干了件很“粗暴”的事:把旋钮全换成了三档开关——只有“加一点、减一点、不变”三个选项,也就是 +1、0、-1。
三个档位能表达的信息,比一个二进制位多一点,但远少于原来的精细旋钮。再加上每 128 个开关共用一个小标签做微调,平均下来每个参数只占 1.72 位。
效果有多夸张?原本 54GB 的模型,变成 5.95GB,缩了大约 9 倍。
更关键的是,它没把脑子压坏。官方在 14 项高难度测试里的平均分是 84.78,原版是 86.32,保住了 98.2% 的实力。数学 96.57(原版 97.06),写代码 89.42 甚至比原版还高一点点。
要知道,以前大家用常规手段把模型压到 2 位,分数直接掉到 72 分上下,还占 7.27GB。同样是压缩饼干,别人泡开是一碗糊,它泡开还有肉味——这就是 Bonsai 2 突然火起来的真正原因。
二、两种打包法,本质是“真空袋”和“收纳盒”的区别
既然是同一个模型,为什么还要出两个文件?
因为三档开关虽然省地方,但显卡读它的时候得“拆包装”。怎么拆,有两种思路。
PTQ1_0 像真空压缩袋:把开关挤得严严实实,每个只占 1.75 位,最终 5.95GB。优点是极致省地方;代价是每次用都要“拆袋子”,拆包本身要花算力。
PQ2_0 像分格收纳盒:不管里面装的是哪个档位,每个开关都固定占一个 2 位的格子,最终 7.21GB。多花 1.26GB,买的是“一抽就出来”的顺手,显卡读起来更省事。
所以它俩不是“低配版”和“高配版”的关系,而是省空间和省力气之间的取舍。这也是为什么官方明确说:两个格式没有绝对的快慢,得看硬件。
三、实测对照:谁更快,取决于你显卡的“代”
官方给出的生成速度实测(每秒输出多少 token,越大越顺):
| 硬件平台 | PQ2_0 | PTQ1_0 |
|---|---|---|
| RTX 5090 | 129.9 | 120.5 |
| H100 | 113.9 | 86.9 |
| A100 | 73.9 | 54.7 |
| RTX 4090 | 81.2 | 91.1 |
| RTX 6000 Ada | 82.8 | 90.4 |
| L40S | 74.4 | 81.8 |
| L4(72W 低功耗卡) | 29.8 | 32.1 |
| MacBook M5 Pro | 28.1 | 暂无数据 |
看明白这张表,选型焦虑就解决一半了。
规律很反直觉:越新的卡,反而越适合“占地方”的 PQ2_0。像 5090、H100 这种算力过剩的猛兽,瓶颈不在搬数据,而在拆包装的手速,所以格子式更吃亏更少;而 40 系、L4 这类“带宽吃紧”的卡,谁搬的数据少谁赢,体积更小的 PTQ1_0 就反超了。
还有一个容易被忽略的隐藏差异:读长文档时,PQ2_0 几乎全面领先。同样是 RTX 4090,处理长提示词的速度是 3124 对 1645,差了将近一倍。
翻译成人话:你如果习惯把一整份合同、一整个项目代码丢给它读,PQ2_0 的“开局等待”会短很多。
至于显存,官方标的 5.95GB 和 7.21GB 只是模型本身。真正跑起来还要加上对话缓存:16GB 显卡上,PTQ1_0 通常留 7GB 左右就够,PQ2_0 大概 8 到 9GB;如果开超长上下文、缓存调大,社区里有人看到 10GB 出头的占用。12GB 显卡就要克制点,把上下文调小。
四、真实上手是什么感觉?
社区里讨论最多的场景,是一张 16GB 的 RTX 4060 Ti。
实测下来,模型占 7GB 上下,生成速度大约 20 到 30 token/s,肉眼看着像有人在快速打字,不卡顿。中文问答、会议纪要总结、把公司资料喂进去做“开卷考试”、给内容自动打标签,这些活它都能接。
但要实话实说:它的强项是理解和归纳,不是死磕难题。写代码、做复杂数学推理,会比原版明显吃力;官方数据也显示,它掉分最多的地方是知识推理和看图能力(视觉 66 分对原版 71 分)。
笔记本这边更戏剧性。官方在 Apple M5 Max 上测到 47 token/s,M5 Pro 是 28 token/s 左右。要知道,原版 54GB 的文件在笔记本上根本装不下——“能跑”这件事本身,比“跑多快”更有冲击力。
另外它支持高达 26 万 token 的超长上下文,理论上能一口气吞下一部长篇小说。现实里受显存限制,别真拉满,但用来读几十页 PDF 是完全可行的。
想让它看图,还得额外配一个 0.63GB 的视觉小包,只有真的传图片时才加载,纯文字聊天不占这份显存。
五、这几个坑,选型前必须知道
这部分比参数更重要,都是社区踩出来的。
第一,原版工具读不了。 主流的 llama.cpp、Ollama、LM Studio 目前都认不出这两个格式,必须用官方专门改过的运行版本。那个 54GB 的 F16 参考版倒是能在原版里打开,但输出是乱码——别拿它当“高清版”用。
第二,它不是坏掉了,是“想太久”。 这模型默认会先推理再回答,很多人抱怨“它想半天不给答案”,其实是输出长度上限太小,脑内小剧场把额度吃光了。给足一万多 token 的输出空间,或者把思考强度调到中档,问题立刻消失。
第三,新 CPU 有个坑。 AMD 锐龙 Zen4、Zen5 这类支持 AVX-512 的处理器,加载 PQ2_0 会直接崩溃(源码已修,等新版即可)。用核显、Intel 显卡走 Vulkan 路线的,老老实实选 PTQ1_0 更稳。
第四,别自己动手“压”。 有人想拿普通模型转成这两个格式,结果出来全是胡话。它们绑定了官方训练时的一套特殊变换,只对官方发布的文件有效。
六、一句话对号入座
- 12 到 16GB 显存、40 系显卡、L4、核显或 Vulkan 用户:选 PTQ1_0。省下 1.26GB 换成更长的上下文,Ada 架构上它还更快。
- 50 系、H100、A100、Mac 用户:选 PQ2_0。新架构上它更顺,官方 Mac 数据也是基于它测的。
- 经常喂超长文档、长代码的人:优先 PQ2_0,开局读取快近一倍。
- 实在懒得想:先下 PQ2_0。它是官方脚本默认下载的版本,社区资料和踩坑记录也更多。
结语
三进制模型真正的意义,不是又多了一个压缩格式,而是把“270 亿参数”这个原本属于机房的门槛,硬生生拉到了普通人的桌面上。你花几千块买的那张游戏卡,突然能干过去要租服务器才能干的活。
而所谓的选型焦虑,说到底只是一道很朴素的选择题:你愿意用 1.26GB 的硬盘空间,去换多少速度?
你的显卡是哪一张?最后选了哪个版本,实测多少 token/s?评论区报个数,也给后来的人留个参考。