PQ2_0 还是 PTQ1_0?Bonsai 2 两种 GGUF 量化格式横评,选型焦虑一次解决

原创2026-10-27 13:46:422,208 阅读
文章标签:人工智能大模型模型量化模型压缩本地部署

PQ2_0 还是 PTQ1_0?Bonsai 2 两种 GGUF 量化格式横评,选型焦虑一次解决

打开 Bonsai 2 的下载页面,很多人第一眼就懵了。

同一个 27B 大模型,摆着两个压缩包:一个 5.95GB,一个 7.21GB,名字还长得像验证码——PTQ1_0、PQ2_0。差着 1.26GB,到底下哪个?

最近科技圈被这个“三进制大模型”刷屏,理由很朴素:一个 270 亿参数的大模型,居然能塞进一张 16GB 消费级显卡,甚至能在一台普通笔记本上流畅说话。而所有新玩家的第一道坎,不是装环境,是选文件。

今天就把这 1.26GB 的差别掰开揉碎讲清楚。先给结论:两个版本的“脑子”一模一样,不存在谁更聪明,差别只在“打包方式”和你那张显卡的脾气。

一、先搞懂:27B 怎么被塞进 6GB 的?

传统大模型里,每个参数就像一个精细旋钮,可以拧到 0.3721 这种精确位置,存下来要占 16 位。

Bonsai 2 干了件很“粗暴”的事:把旋钮全换成了三档开关——只有“加一点、减一点、不变”三个选项,也就是 +1、0、-1。

三个档位能表达的信息,比一个二进制位多一点,但远少于原来的精细旋钮。再加上每 128 个开关共用一个小标签做微调,平均下来每个参数只占 1.72 位。

效果有多夸张?原本 54GB 的模型,变成 5.95GB,缩了大约 9 倍。

更关键的是,它没把脑子压坏。官方在 14 项高难度测试里的平均分是 84.78,原版是 86.32,保住了 98.2% 的实力。数学 96.57(原版 97.06),写代码 89.42 甚至比原版还高一点点。

要知道,以前大家用常规手段把模型压到 2 位,分数直接掉到 72 分上下,还占 7.27GB。同样是压缩饼干,别人泡开是一碗糊,它泡开还有肉味——这就是 Bonsai 2 突然火起来的真正原因。

二、两种打包法,本质是“真空袋”和“收纳盒”的区别

既然是同一个模型,为什么还要出两个文件?

因为三档开关虽然省地方,但显卡读它的时候得“拆包装”。怎么拆,有两种思路。

PTQ1_0 像真空压缩袋:把开关挤得严严实实,每个只占 1.75 位,最终 5.95GB。优点是极致省地方;代价是每次用都要“拆袋子”,拆包本身要花算力。

PQ2_0 像分格收纳盒:不管里面装的是哪个档位,每个开关都固定占一个 2 位的格子,最终 7.21GB。多花 1.26GB,买的是“一抽就出来”的顺手,显卡读起来更省事。

所以它俩不是“低配版”和“高配版”的关系,而是省空间和省力气之间的取舍。这也是为什么官方明确说:两个格式没有绝对的快慢,得看硬件。

三、实测对照:谁更快,取决于你显卡的“代”

官方给出的生成速度实测(每秒输出多少 token,越大越顺):

硬件平台 PQ2_0 PTQ1_0
RTX 5090 129.9 120.5
H100 113.9 86.9
A100 73.9 54.7
RTX 4090 81.2 91.1
RTX 6000 Ada 82.8 90.4
L40S 74.4 81.8
L4(72W 低功耗卡) 29.8 32.1
MacBook M5 Pro 28.1 暂无数据

看明白这张表,选型焦虑就解决一半了。

规律很反直觉:越新的卡,反而越适合“占地方”的 PQ2_0。像 5090、H100 这种算力过剩的猛兽,瓶颈不在搬数据,而在拆包装的手速,所以格子式更吃亏更少;而 40 系、L4 这类“带宽吃紧”的卡,谁搬的数据少谁赢,体积更小的 PTQ1_0 就反超了。

还有一个容易被忽略的隐藏差异:读长文档时,PQ2_0 几乎全面领先。同样是 RTX 4090,处理长提示词的速度是 3124 对 1645,差了将近一倍。

翻译成人话:你如果习惯把一整份合同、一整个项目代码丢给它读,PQ2_0 的“开局等待”会短很多。

至于显存,官方标的 5.95GB 和 7.21GB 只是模型本身。真正跑起来还要加上对话缓存:16GB 显卡上,PTQ1_0 通常留 7GB 左右就够,PQ2_0 大概 8 到 9GB;如果开超长上下文、缓存调大,社区里有人看到 10GB 出头的占用。12GB 显卡就要克制点,把上下文调小。

四、真实上手是什么感觉?

社区里讨论最多的场景,是一张 16GB 的 RTX 4060 Ti。

实测下来,模型占 7GB 上下,生成速度大约 20 到 30 token/s,肉眼看着像有人在快速打字,不卡顿。中文问答、会议纪要总结、把公司资料喂进去做“开卷考试”、给内容自动打标签,这些活它都能接。

但要实话实说:它的强项是理解和归纳,不是死磕难题。写代码、做复杂数学推理,会比原版明显吃力;官方数据也显示,它掉分最多的地方是知识推理和看图能力(视觉 66 分对原版 71 分)。

笔记本这边更戏剧性。官方在 Apple M5 Max 上测到 47 token/s,M5 Pro 是 28 token/s 左右。要知道,原版 54GB 的文件在笔记本上根本装不下——“能跑”这件事本身,比“跑多快”更有冲击力。

另外它支持高达 26 万 token 的超长上下文,理论上能一口气吞下一部长篇小说。现实里受显存限制,别真拉满,但用来读几十页 PDF 是完全可行的。

想让它看图,还得额外配一个 0.63GB 的视觉小包,只有真的传图片时才加载,纯文字聊天不占这份显存。

五、这几个坑,选型前必须知道

这部分比参数更重要,都是社区踩出来的。

第一,原版工具读不了。 主流的 llama.cpp、Ollama、LM Studio 目前都认不出这两个格式,必须用官方专门改过的运行版本。那个 54GB 的 F16 参考版倒是能在原版里打开,但输出是乱码——别拿它当“高清版”用。

第二,它不是坏掉了,是“想太久”。 这模型默认会先推理再回答,很多人抱怨“它想半天不给答案”,其实是输出长度上限太小,脑内小剧场把额度吃光了。给足一万多 token 的输出空间,或者把思考强度调到中档,问题立刻消失。

第三,新 CPU 有个坑。 AMD 锐龙 Zen4、Zen5 这类支持 AVX-512 的处理器,加载 PQ2_0 会直接崩溃(源码已修,等新版即可)。用核显、Intel 显卡走 Vulkan 路线的,老老实实选 PTQ1_0 更稳。

第四,别自己动手“压”。 有人想拿普通模型转成这两个格式,结果出来全是胡话。它们绑定了官方训练时的一套特殊变换,只对官方发布的文件有效。

六、一句话对号入座

  • 12 到 16GB 显存、40 系显卡、L4、核显或 Vulkan 用户:选 PTQ1_0。省下 1.26GB 换成更长的上下文,Ada 架构上它还更快。
  • 50 系、H100、A100、Mac 用户:选 PQ2_0。新架构上它更顺,官方 Mac 数据也是基于它测的。
  • 经常喂超长文档、长代码的人:优先 PQ2_0,开局读取快近一倍。
  • 实在懒得想:先下 PQ2_0。它是官方脚本默认下载的版本,社区资料和踩坑记录也更多。

结语

三进制模型真正的意义,不是又多了一个压缩格式,而是把“270 亿参数”这个原本属于机房的门槛,硬生生拉到了普通人的桌面上。你花几千块买的那张游戏卡,突然能干过去要租服务器才能干的活。

而所谓的选型焦虑,说到底只是一道很朴素的选择题:你愿意用 1.26GB 的硬盘空间,去换多少速度?

你的显卡是哪一张?最后选了哪个版本,实测多少 token/s?评论区报个数,也给后来的人留个参考。

登录后查看全文
Ternary-Bonsai-2-27B-gguf