实测实锤:iPhone 18 Pro 跑满 270 亿参数大模型,速度翻倍,Bonsai 成最大卖点
实测实锤:iPhone 18 Pro 跑满 270 亿参数大模型,速度翻倍,Bonsai 成最大卖点
最近半个月,数码圈最炸的瓜不是跑分,而是一个词:手机本地跑大模型。
iPhone 18 Pro 上市一个月,各路实测陆续出炉,其中 17173 那篇端侧 AI 实测直接把热度推上顶峰——搭载全新 A20 Pro 芯片的 iPhone 18 Pro,居然能在本地流畅运行 270 亿参数的大语言模型,速度比 iPhone 17 Pro 翻了一倍。
而在芯片背后真正"撑场"的,是一个来自开源社区的项目:Prism ML 的 Bonsai 2 27B。
今天咱们就用大白话把这事掰开揉碎讲清楚:它到底是什么、凭什么能塞进手机、普通人换了新机能体验到什么。
一、Bonsai 是个啥?给 270 亿参数的大树"剪枝"进手机盆栽
先说背景。现在主流的"大模型"动辄几百亿、上千亿参数,完整版本一个就是几十上百 GB,手机根本装不下。
之前想在手机上跑大模型,大家只能"将就":要么用很小的 7B、8B 模型,脑子不太好使;要么把模型压到 4 位精度,体积还是大得离谱。
Bonsai 干的事,就是把一整棵 270 亿参数的大树,修剪成一盆能放进手机口袋的"盆景"——这也是它名字(日式盆栽)的由来。
它最核心的独门绝技叫三值量化。打个比方:
普通模型里的每个"参数",就像一个可以拧到任意角度的水龙头,成千上万个旋钮各不相同,存储起来非常占地方。而 Bonsai 把所有旋钮只留了三档:开大(+1)、关小(-1)、关掉(0)。
一个旋钮从"无限角度"变成"三档开关",体积自然就塌了。更聪明的是,团队在压缩前先给参数做了一次"整方向"的变换——相当于叠衣服之前先叠整齐再抽真空,所以压得这么狠,脑子却没压坏。
效果有多狠?看仓库里的官方数据:
- 完整精度版本约 54 GB,Bonsai 2 压缩后语言模型只有 5.9 GB,连看图模块一起打包也就 8.6 GB,不到原来的九分之一;
- 14 项综合能力基准测试,保住了原版模型 98.2% 的得分;
- 数学能力从 97.06 只掉到 96.57,编程能力直接打平原版(89.42 对 89.07),连"边想边答"的深度推理模式都完整保留;
- 支持 262K 超长上下文,塞进去一整本文档、一整个代码仓库都没压力;
- 还自带视觉模块,能看图、能干活,Apache 2.0 协议完全开源免费。
什么概念?以前手机上的"AI 助手"基本是云端 API 的遥控器,断网就变砖;现在一个 27B 级别的"数字员工"直接住进了手机本地,不用联网、不用交月费、聊天内容一个字节都不出手机。
二、到底有多快?实测数据说话
很多人第一反应是:压得这么小,速度能行吗?实测数据基本打消了这个疑虑。
电脑端:
- Apple M5 Max 笔记本:约 47 词元/秒(token 可以理解成 AI 吐字的"字数单位",47 个/秒约等于每秒蹦出几十个汉字);
- M5 Pro 笔记本:约 28 词元/秒——注意,54 GB 的完整版在这类笔记本上根本跑不起来,Bonsai 2 是"从跑不了到流畅跑"的跨越;
- 顶级游戏显卡 RTX 5090:接近 130 词元/秒,吐字快到眼睛跟不上;
- 72 瓦的入门级数据中心显卡 L4:也有 30 词元/秒,单卡就能当"27B 服务器"用。
手机端:
- 上一代 12GB 内存的 iPhone 17 Pro 上,Bonsai 的 1-bit 版本(3.9 GB)已经能原生运行,速度约 11 词元/秒——每秒吐十几个字,已经接近正常人打字速度,对话体验完全跟得上;
- 换上 A20 Pro 的 iPhone 18 Pro 后,17173 实测结论是:270 亿参数模型本地推理速度直接翻倍,从"能聊"升级到"聊得飞快"。
还有一个容易被忽略的亮点:能效。Bonsai 2 在 RTX 4090 上每词元能耗约 0.714 毫瓦时,比跑全精度 8B 小模型还省 40%——模型更大,耗电反而更少,这就是"盆景"比"大树"香的地方。
三、芯片和模型的"双向奔赴"
这次 iPhone 18 Pro 能跑满 27B,说白了是硬件和软件撞了个正着。
先看 A20 Pro 都升级了什么:
- 苹果首款 2nm 工艺手机芯片,台积电最先进制程;
- 神经网络引擎升级到 32 核,8 位浮点运算速度翻倍;
- 内存带宽提升 50%;
- 7 核 GPU,性能最高提升 40%;
- 芯片直接贴着 VC 均热板散热,官方口径整机性能提升约 70%。
这里的关键是第二、四条。手机本地跑大模型,瓶颈从来不是"算得不够快",而是内存带宽——AI 每吐一个字,都要把模型权重从内存里搬一遍,带宽就是"搬砖路"的宽度。A20 Pro 把路加宽了 50%,又把专门搬 AI 砖的"NPU 搬运队"扩到了 32 核,散热还拉满防止降频。
而 Bonsai 2 恰好是为窄路设计的车:模型小到内存装得下,数据搬运量只有传统方案的零头。
一边是芯片拼命加宽内存通道,一边是模型拼命瘦身——两条曲线在同一代产品上交汇,才造就了"手机跑 27B"这个过去只有跑分 PPT 才敢提的事情。这也是为什么业内说,Bonsai 这次成了 iPhone 18 Pro 宣传端侧 AI 时最硬的弹药。
四、对换机党意味着什么?
回到最朴素的问题:这事跟我有什么关系?
第一,隐私这件事第一次有了"物理保证"。
之前跟 AI 聊天,内容是发到服务器上的;现在模型就在手机芯片里,你的日记、病历、合同、工作机密,从物理上就不可能出手机。对律师、医生、财务、处理敏感业务的打工人,这不再是"信任厂商"的问题,而是"数据根本没离开设备"。
第二,断网 AI 从噱头变成了真本事。
飞机上、地铁里、山里,27B 级别的推理、写代码、读长文档照样能干活。Bonsai 2 官方给的使用场景就很实在:本地干"真正的知识工作",需要时才调用云端。
第三,换机决策多了一个硬指标。
有博主评价第一代 Bonsai 27B 是"手机 AI 的 DeepSeek 时刻"——AnythingLLM 创始人的原话是"这比 GPT 新版本的发布更重要,这才是 AI 真正的 DeepSeek 时刻"。到了 Bonsai 2 这一代,"能不能在本地跑 27B、跑多快"很可能成为 Pro 级旗舰的新分水岭。
当然也得泼点冷水:目前手机上跑的是更小的 1-bit 版本,质量略低于完整三值版;重度长文档场景下,手机和电脑的体验还是有差距。但方向已经很清楚了——端侧大模型的"能跑"和"好跑",只差一两代芯片的距离。
五、写在最后
回看这一年:大模型从"比谁更大"卷到了"比谁更聪明地塞进小设备"。Bonsai 2 用 1/9 的体积保住了 98% 的智力,A20 Pro 用 2nm 和加宽的内存带宽接住了它,iPhone 18 Pro 于是成了第一部把"准完整大模型"揣进口袋的手机。
未来两三年,"离线 AI 能力"可能会像当年的 5G、双摄一样,从旗舰卖点变成基本配置。到那时候回头看,2026 年秋天这个"盆景入手机"的时刻,很可能就是端侧 AI 真正起飞的那一脚。
最后抛个问题给大家:**如果你的手机里住着一个 270 亿参数、完全离线、免费无限用的 AI,你最想让它帮你干的第一件事是什么?**是批改孩子的作业,还是帮你读那份 300 页的合同?评论区聊聊。