iPhone 上真跑起了 35B 大模型?6.4 tok/s 实测,端侧 AI 要进入「手机时代」了

原创2026-10-19 18:58:531,828 阅读
文章标签:人工智能大模型模型量化LoRA本地部署

iPhone 上真跑起了 35B 大模型?6.4 tok/s 实测,端侧 AI 要进入「手机时代」了

你有没有过这种烦恼:

想让 AI 帮自己干活,第一反应是打开网页、连上服务器。可你想问的内容,可能包含没写完的商业方案、私人的聊天记录、公司内部的材料——这些东西,你敢放心交给云端吗?

而且现在大模型一个比一个大,7B、14B、32B……手机的内存和芯片早就跟不上了。

但最近,AI 圈子里传出一个相当炸裂的消息:有人把一个 35B 级别的大模型,真的塞进了一部 iPhone 里,还跑出了 6.4 tok/s 的速度,峰值内存只用了 4GB。

消息一出,社区直接吵翻了:有人欢呼"手机时代来了",有人泼冷水"这速度能用?"

今天咱就把这个项目掰开了揉碎了讲清楚。它叫 Edge0,首发模型是 Edge0-35B-A3B-preview。

一、它到底是个什么宝贝?

先说结论:它不是普通的大模型,而是一套"让手机跑得动大模型"的新玩法,模型只是这套玩法的演示品。

这个 35B 模型的底座,来自通义千问家族的 MoE 架构模型。什么是 MoE?大白话讲——

想象一家有 256 位专科医生的大医院。 你每提一个问题,医院不会让 256 位医生全上一(那成本谁也扛不住),而是只叫 4 位最对口的专家出诊。

  • 医院整体规模很大(总共 35B 参数,知识面广);
  • 但你每次看病,真正干活的只有 4 位专家(激活的只有约 3B 参数,成本极低)。

这就是为什么它敢叫"A3B"——总身家 35B,出手只有 3B 的开销。 这就是它能往手机上塞的关键。

但光靠"按需出诊"还不够,模型文件本身还是太大。Edge0 框架又干了第二件聪明事:

把整间大医院,留在了医院的"档案库"里,只把当值专家的照片摆在诊室桌上。

翻译成硬件语言就是:模型的大部分权重不往内存里搬,而是放在存储芯片里,用到哪一位专家,就从存储里现取现用。官方管这个叫"SSD 专家流式加载"。内存占用从此不再由模型多大决定,而是由"这一刻在干活的专家有多少"决定——所以 35B 的模型,活跃内存压到了 3GB 以下。

还有第三招,最见功夫:

给医院配了一位"神算子"前台。 你还没走到下一诊室,前台就已经根据病历预测出下一位专家是谁,提前把他的资料都搬好了。官方称之为"预路由预测",实测解码速度最多能再提 59%——因为"取资料"和"看病"同时进行了,专家来了就有活干,不用干等。

这三招合起来,一句话总结:35B 的大脑,4GB 的内存,还不用等。

二、到底有多牛?看实测数据

光说不练假把式,直接把社区实测和官方数据摊开看:

iPhone 端(本次出圈的实测):

  • 解码速度 6.4 tok/s(每秒吐 6.4 个词);
  • 峰值内存 4GB——大约相当于手机上同时挂着几个常用 App 的水位;
  • 模型质量和完整版相比,平均只掉了 3.9 分(百分制定量后的"失血",几乎可以忽略)。

Mac mini M4 Pro 上:

  • 解码速度 14.9~17.7 tok/s;
  • 长文本一次性"消化"(预填充)能到 140 tok/s——喂一篇长文章,几乎是瞬间读完;
  • 峰值活跃内存 2.9 GiB,比 iPhone 上还省。

智力水平呢?官方给了一组硬指标(百分制):

项目 Edge0-35B 压缩版 原版全精度模型
数学竞赛 AIME 86.6 92.7
写代码 HumanEval 90.9 95.1
综合常识 MMLU-Pro 81.0 84.6

翻译一下:AIME 86.6 分是什么概念?这是国际数学竞赛级别的题目,它考出了接近满分选手的水平。压缩成手机上能跑的小身材之后,智力几乎没打折扣。

对比一下"前辈们":跑 35B 级别模型,过去要么租云端 GPU 按量付费、要么攒一台顶配工作站。现在,一部旗舰手机、一张消费级 Mac,就够格上岗了。

三、4GB 内存的手机,能扛住哪些活?

先泼一点理性的冷水:6.4 tok/s 大概是什么体感?每秒蹦出 4 到 6 个汉字,差不多等于你在地铁上低头刷字的速度。 它不是"秒回",但它是"断网也能回"。

对普通人来说,真正香的是这三件事:

1. 隐私彻底捏在自己手里。 聊天记录、工作文档、商业方案,全程不出手机、不出公司内网。对企业来说,这比跑多快都重要——数据不出境,合规焦虑直接减半。

2. 没网也能用。 飞机上、地铁里、野外、信号死角,它照样能问答、能写东西、能做摘要。云端 AI 是"水电",断网就停摆;端侧 AI 是"家里的发电机"。

3. 免费、无限量。 不用 API 按 token 付费,不用排队,不用看服务条款。

它还能干嘛?官方甚至留了个后手:一条命令就能把它变成一个"长得跟 ChatGPT 官方服务一模一样"的本地接口。 什么意思?你手头任何调 ChatGPT 的应用,只要把"服务器地址"改成自己电脑,就无缝切换到本地模型了——应用代码一行不用改。

另外还有个"轻量兄弟"值得知道:同家的 8B 版本,体积只要 4.2GB,解码速度比 35B 还快 1.5 倍,峰值内存 1GB 出头,专门伺候内存更紧张的低端设备。虽然数学竞赛分差了 23 分,但日常闲聊、改邮件、总结周报,绰绰有余。旗舰版拼智力,轻量版拼普及,两档齐发,明显是想把端侧 AI 做成"车型"的。

据媒体报道,Edge0 还和同团队的端侧语音模型组成了全家桶,已经在耳机、眼镜、机器人这类硬件上落地了——模型登顶 Hugging Face 热榜,不是没有原因的。

四、普通人怎么上手?门槛高吗?

说实话,现在它还算"发烧友玩具",但门槛已经低得多了:

  • 设备方面:目前主力支持苹果芯片的设备(Mac 和 iPhone)。安卓和 Windows 版在官方路线图上,还没排上号;
  • 安装方面:不用买显卡,不用装复杂环境,社区实测5 分钟就能装好并跑通第一次对话,还有桌面 App 可以直接点开用;
  • 存储方面:35B 版下载下来要占 20 多个 GB 空间,得留足地方。

它适合谁?

  • 苹果设备的科技发烧友——白嫖一个"离线版大牛",图个新鲜和安全感;
  • 对数据敏感的职场人——合同、方案、客户资料,本地问答最踏实;
  • 中小企业——不用租 GPU 集群,一台普通电脑就能起一个私有大模型服务。

短板也得说透,免得你入手失望:

  • iPhone 上 6.4 tok/s,慢是真慢,别指望秒回;
  • 长对话会额外吃内存,聊得越久越吃紧;
  • 官方版自己承认:预览版"自主干活"(Agent)的能力还比较弱——让它查资料、分步骤完成复杂任务,还不太行,正式版会补强。

五、端侧「手机时代」,还差哪几步?

从 Mac 到 iPhone,端侧推理的扩散路径已经很清晰了:先是跑得快但笨重的笔记本,然后是更小巧的手机,接下来大概率是耳机、眼镜、机器人这些"更贴身"的设备。

但要说"手机时代"全面到来,至少还差三步:

第一,再快一点。 15 tok/s 是"流畅",6.4 tok/s 是"能忍"。等 NPU 算力再翻几番,手机端跑到 10 tok/s 以上,体验才真正跨过去。

第二,把生态补齐。 现在只支持苹果芯片,等于一半手机用户看戏。安卓、Windows 的后端跑通了,才算真"全民端侧"。

第三,从"会聊天"进化到"会干活"。 能陪聊只是入门,能自己拆任务、查资料、办完事的 AI 数字员工,才是端侧 AI 改变生产力的真正临界点。

写在最后

大模型这几年有个尴尬之处:越聪明,越"住"在别人的机房里。 你享受了它的能力,也交出了你的数据。

而 Edge0 这次做的事情,本质上是把"聪明"从云端搬回了你口袋里——35B 的脑子,4GB 的内存,数据一步都不出你的设备。

它还不是完美成品,但方向已经明牌了:未来你手机里的 AI,可能不再是某个 App 里的一个"云窗口",而是一个真的住在你手机里的本地大脑。

最后留个话题:如果你的手机明天就能离线跑起一个 35B 大模型,你第一件事想让它干嘛?是当个隐私秘书,还是离线游戏里的智多星?评论区聊聊。

登录后查看全文
Edge0-35B-A3B-preview