54GB 的 27B 大模型,被压到 7GB 塞进手机:Bonsai 27B 端侧部署实测,全过程比想象中简单
54GB 的 27B 大模型,被压到 7GB 塞进手机:Bonsai 27B 端侧部署实测,全过程比想象中简单
先说个有点反直觉的事。
一个 270 亿参数的大模型,正常放电脑里要吃掉 54GB 内存,普通人家里的笔记本连门都进不去。而最近开源圈刷屏的这棵“盆栽”——PrismML 的 Ternary-Bonsai-2-27B,硬是把它压到了 5.95GB,缩水将近 9 倍,还能保持原版 98.2% 的“智商”。
更离谱的是,官方直接放出了 iOS 和安卓的构建包。也就是说,这个曾经只配在机房显卡上跑的大家伙,现在真的能躺进你的手机里。
消息一出,海外科技媒体直接用“全球首款手机级 27B 多模态模型”来形容它。那问题来了:它到底是真能用,还是又一个跑分好看、上手就翻车的玩具?
一、它到底是个啥?一句话:给模型做了“极限收纳”
先别管什么 27B、什么量化,我们用生活里的场景理解。
普通大模型的每一个“参数”,就像一盏无级调光的灯——从 0 到 100,可以精确到小数点后好几位。精度高,但占地方,一个数字就要 16 位空间。
Bonsai 干的是一件很“狠”的事:它把每盏灯的旋钮,换成了只有三档的老式开关——-1、0、+1。
学术点说叫“三进制”,你也可以理解成:把“身高精确到毫米”改成“高、中、矮三档”。信息量确实少了,但它在每 128 个开关旁边配了一把共用的“刻度尺”(缩放因子),整体轮廓就被找了回来。
再配合一个叫 Hadamard 旋转的小技巧,效果就像把一箱乱塞的衣服重新卷好、按尺寸码齐——同样的行李箱,能多塞进好几倍的东西。
于是账面上就变成了这样:
- 原版 FP16:约 54GB
- 这个“盆栽”版:5.95GB 或 7.21GB(两种打包方式)
- 每个参数平均只占 1.72 位,是原版的九分之一
而且它是“全身体检式”压缩——连词表、输出层都没放过,不存在“标着 2 位、暗地里留一块高精度后门”的情况。这一点在低比特模型里相当罕见。
二、压这么狠,脑子还在吗?这才是关键
低比特量化最怕什么?不是慢,是变傻。
行业里有个公开的秘密:传统 2-bit 压缩出来的模型,在日常闲聊里看着还行,一到真正需要动脑的题就原形毕露。官方拿它和传统方案做了个正面刚的对比,14 项基准测试,全部在“思考模式”下跑:
| 版本 | 体积 | 综合得分 |
|---|---|---|
| 原版(全精度) | 54GB | 86.32 |
| 常规 4-bit 压缩 | 17.6GB | 85.18 |
| Bonsai 27B | 5.95GB | 84.78 |
| 常规 2-bit 压缩 | 7.27GB | 72.59 |
看懂这张表,你就知道它为什么火了。
它比 4-bit 版本小三分之二,分数却只差 0.4 分;比传统 2-bit 版本还小一圈,分数高了整整 12 分。
更扎心的是“傻在哪”。传统 2-bit 在 AIME 数学竞赛题上掉到 57.5 分,写代码掉到 56.4 分——基本等于放弃治疗;但它在大众常识题上还能拿 88.9 分。所以很多人随便问两句觉得“还行啊”,一上强度就崩。
而 Bonsai 在这两块分别拿到 95.83 和 90.07。数学总分 96.57,跟全精度只差半分;写代码 89.42,甚至比原版还高一点点;指令遵循 82.66,也是反超。
说白了:它不是“能说人话的智障”,而是真的把推理能力保住了。
三、除了小,它还有两个让人意外的本事
第一,能“看”。
仓库里单独给了一个视觉模块,约 0.63GB,只在你要发图片时才加载。也就是说,你可以直接丢一张截图、一张发票、一页 PDF 给它,让它读、让它总结。文字聊天时这块根本不占内存,属于“用得上再花钱”。
第二,能记住 26 万字。
上下文长度 262K token,大概相当于一口气读完一本中篇小说,或者把一整个中型项目的代码全塞进去问它。这背后靠的是它沿用了原模型的“混合注意力”结构——约四分之三的层用的是更省内存的线性注意力,所以长上下文在端侧才撑得住。
对普通人的意义是:你可以把一份几十页的合同、一整年的体检报告、一门课的讲义,完整喂给它,而不是切成一段一段问。
四、把 27B 装进手机,到底要几步?
这部分我把话说透,也把坑提前给你标出来。
第一步:先看你手里设备的“饭量”。
模型本体 6~7GB,加上运行时开销和对话缓存,手机端建议 12GB 内存起步,8GB 机型能启动,但聊长了容易被系统直接杀掉后台。电脑端就宽松多了:16GB 内存的轻薄本、8GB 显存的显卡都能跑。
第二步:选对“盒子”。
官方给了两种打包:
- PTQ1_0(5.95GB):最省地方,老显卡、小显存首选;
- PQ2_0(7.21GB):多占 1.3GB,但提示词处理快得多,新卡上体验更好。
苹果用户还有一条专属路线:官方另有 MLX 版本,专为 Apple 芯片优化,Mac 和 iPhone 都能走这条路。
第三步,也是最容易翻车的一步:别用你熟悉的那个引擎。
这里必须提醒一句:原版 llama.cpp、Ollama、LM Studio 目前都加载不了这两个新格式,会直接报“未知类型”。更阴险的是那个 F16 文件——它能被加载,但因为没有配套的“旋转还原”步骤,吐出来的全是乱码,还不报错。
所以网上那些“Ollama 一条命令搞定”的教程,照抄大概率卡在第一步。正确做法是用官方配套的引擎版本,或者直接拿官方那个整合脚本——它会自动识别你的系统,把引擎、模型、网页界面一次装齐。
第四步:起来之后,它就是一个网页。
跑起来以后,浏览器打开本机对应端口,就是一个类似 ChatGPT 的聊天页:左边对话框,能传图片,能开联网工具,能调“思考强度”。整个过程不需要你懂任何代码,也不用改配置文件。
手机上的两条路:
一条是“真端侧”——iOS 有官方打包好的框架,安卓也有现成构建,开发者可以把它塞进自己的 App,数据一步都不出手机;
另一条更省事——电脑当服务器,手机连同一个 WiFi,用浏览器访问。体验几乎一样,还不用担心手机发烫降频。对 90% 想尝鲜的人来说,我推荐后者。
五、速度能到什么水平?先把预期摆正
官方给的真实跑分是这样(每秒生成字数,越高越跟手):
- 台式旗舰 RTX 5090:约 130
- 苹果 M5 Max 笔记本:约 47
- 苹果 M5 Pro:约 28
- 苹果 M4 Pro:约 18
- 有网友用 16GB 的 RTX 5060 Ti 实测:约 48,提示词处理比省空间的版本快一倍多
这个速度什么概念?47 字/秒左右,基本就是你正常阅读的速度,聊起来是顺畅的;18 字/秒会稍微有点“等它打字”的感觉,但完全可用。
至于手机,实话实说:受内存带宽和散热限制,大概率是个位数到十几字/秒,而且长时间对话机身会明显发热。它的价值不在于“替代电脑”,而在于离线、隐私、随身——飞机上、地铁里、没有网络的山里,它照样能干活,而且你的聊天记录从头到尾没离开过这台设备。
还有三个几乎人人都会踩的坑,提前说:
一是“它想了半天一个字不吐”。 这是个会思考的模型,思考过程也算输出字数。如果你把输出上限设得很小(比如 256),它会在“打草稿”阶段就被掐断,你看到的就是空白。解决办法很简单:把上限放宽到一万多字,或者把思考强度调成“中等”。
二是别选“高”这个档位。 官方模板只认“低、中、极高”,你填“高”会直接报错。
三是 AMD 新平台的部分 CPU 会在加载时崩。 这个官方已经修了,但要用最新源码版本,装机前记得更新。
六、说到底,它改变了什么?
以前我们讨论“本地大模型”,潜台词是“你得先有张好显卡”。一台能跑 27B 的机器,预算轻松上万。
现在这个门槛被压到了:一台普通轻薄本、一部大内存手机,就能装下一个接近原版智商的 27B。
它带来的不是“跑分又高了”,而是三种很具体的变化:
写作者可以在断网的咖啡馆里,让 AI 读完 200 页资料再动笔;坐诊的医生、看合同的法务,可以把敏感文件丢给一个永远不会上传的模型;开发者可以在手机上调试一个真正会调用工具、会看图、会推理的智能体,而不是一个只会接话的复读机。
当然,它也远没到完美:复杂工具调用偶尔会抽风,视觉能力比原版掉了几个点,手机上跑起来还是会烫手。但你要知道,半年前,这些东西压根不存在于“能在手机上跑”这个前提里。
最后留个问题给大家聊聊:
如果一部手机就能装下一个 27B 的 AI,而且永远不会把你的聊天记录传出去——你最想让它帮你做的第一件事,是什么? 是读完那一摞没看的合同,还是帮你把孩子的作业讲明白?
评论区见。