单卡跑满血旗舰MoE又刷屏了:这次主角换成了PC引擎,但三个前提得先说清

原创2026-11-03 12:10:031,837 阅读
文章标签:模型推理服务推理引擎本地部署人工智能大模型模型量化高性能计算

单卡跑满血旗舰MoE又刷屏了:这次主角换成了PC引擎,但三个前提得先说清

最近科技圈又在传一句话:“单卡跑满血旗舰 MoE,Token 自由了。”

听起来确实上头。以前这种几百亿、上千亿参数的“巨无霸”,是机房里的八卡服务器才敢碰的东西;现在有人告诉你,一张消费级显卡、一台游戏电脑,就能在本地跟它聊天、写代码、跑 Agent,还不用付 API 费。

这次的主角叫 FreeToken,一个开源项目,来自 UC Berkeley、MIT 等机构的研究者。官方口号很直接:把数据中心级别的模型服务,搬到你手边这台电脑上。

但我先把丑话说在前头:“能加载”和“能好好用”,是两件完全不同的事。 网上很多说法一激动就把这两件事混成一件了。今天咱们就用大白话,把这件事从头捋清楚。

一、它到底是个啥?用一句厨房比喻讲明白

大模型里有个东西叫 MoE,中文叫“混合专家”。

你可以把它想成一家大饭店:后厨有几百位厨师,每位只精通一道菜。客人点一道菜,不需要所有人一起上,只叫相关的那几位就行。

这就是 MoE 最迷人的地方——模型总参数看着吓人,但每次真正干活的只是一小部分。比如一个 284B(2840 亿参数)的模型,可能每次只激活 13B 左右。

问题在于:那几百位“厨师”平时得有地方待着。传统做法是把他们都塞进显卡显存,塞不下就彻底没戏。

FreeToken 干的事,是给这家饭店配了一个极其聪明的调度员:

  • 显卡相当于“灶台”,只放最常用的那几位厨师;
  • 电脑内存相当于“备菜间”,大部分厨师在这儿待命;
  • 显卡和内存之间的那条通道(PCIe)相当于“传菜口”,谁被点到就快速送过去;
  • 如果传菜口堵了,它还会让 CPU 直接上手炒两道,不让灶台干等。

所以它真正解决的问题不是“把模型变小”,而是把整台电脑——显卡、CPU、内存、通道——当成一台机器来统一调度。

说白了,以前的工具把你的电脑当成“一块显卡”,剩下的 CPU 和几十上百 GB 内存全在旁边看戏。FreeToken 把它们全拉上场了。

FreeToken 桌面控制台的运行界面

二、“单卡跑满血”,必须补上三个前提

截图是官方桌面版的界面,运行的是 DeepSeek-V4-Flash FP4,解码速度 25.4 tok/s,首个字返回 2.8 秒,同时跑着 118 个请求。

看着很美,但注意看左下角那行小字:系统内存 158.2 / 192.0 GB。

对,这就是关键。所谓“单卡”,往往只是“一张显卡”,但整台机器的内存可能是 128G、192G 甚至更多。所以任何一句“单卡跑某某大模型”,都得先问三个问题:

第一,什么卡? 不是所有显卡都叫“单卡”。官方实测里,8GB 显存的 RTX 4060 笔记本跑 35B 的 Qwen3.6,能到 39.3 tok/s;RTX 5090 跑 284B 的 DeepSeek-V4-Flash,是 22 到 25 tok/s;而 753B 的 GLM-5.2,用的是 96GB 显存的 RTX PRO 6000 工作站卡,只有 14.9 tok/s。

这三档完全不是一个世界。看到“单卡”两个字,先找卡型号。

第二,什么精度? “满血”这个词在圈里其实有两层意思:一是指没被蒸馏、没被砍专家的原始模型,这个 FreeToken 确实做到了;二是指没压缩的 16 位精度,这个在消费卡上基本别想。

截图里的 FP4、实测里的 NVFP4、FP8,都是把每个数字用更少的位数存下来,体积能小到原来的四分之一甚至更多。好处是塞得进去,代价是精度有细微损失。真要在小显存上跑旗舰模型,量化不是可选项,是必选项。

第三,多长的上下文? 模型跑起来只是一半,聊天聊久了还得存“记忆”,这部分叫 KV 缓存,也吃显存。截图里 51.2 万 token 的上下文占了 3.49GB 显存,专家缓存占了 12.8GB——两者是在同一块 32GB 显存里抢地盘的。

所以宣传里“能跑”通常是指短对话能跑。你要是想让它读完一整本 PDF、或者连着干几个小时的编码任务,显存和内存的压力会立刻翻倍。

三、能加载 ≠ 能交互:三个可核验的指标

判断一台机器到底行不行,别听口号,看这三个数就行:

一看首字延迟。 就是你按下回车,到屏幕上蹦出第一个字,等了多久。截图里是 2.8 秒,属于“能接受”;如果超过十秒,你的耐心会先崩。

二看每秒出字速度。 人正常阅读大概每秒十几个字。25 tok/s 已经很顺畅;低于 10 tok/s 就开始一个字一个字往外挤,写代码时会明显烦躁。

三看长上下文还稳不稳。 聊到几万字以后,如果速度断崖式下跌,或者干脆报显存不足,那说明它只是“短跑选手”。

有个很实在的网友反馈值得引用:他手上是 RTX 4060、8GB 显存加 16GB 内存的游戏本,跑小一点的 gpt-oss-20b“对话也算流畅”,但跑 35B 就得切到 CPU 模式,“对话都很慢”。他的结论很扎心——8GB 显卡确实能跑,但内存跟不上,就只能当个对话玩具。

这话不好听,但比任何宣传都真实。

四、同名说法换了好几轮,每轮都偷偷换了前提

“单卡跑大模型”这句话,其实每年都在刷屏,只是主角在换:

早几年是 llama.cpp 的时代,大家兴奋的是“7B 模型能在我笔记本上跑起来了”,显卡把一部分层放上去,剩下的丢给 CPU。

后来是量化技术的时代,GPTQ、AWQ 一出,24GB 显卡跑 70B 成了新谈资,前提是“4 位量化”。

再后来,MoE 架构普及,大家的注意力从“总参数”转到了“激活参数”,口号变成“几百 B 的模型只要几十 B 的算力”。

到了 FreeToken 这一轮,硬件前提又变了:不是显卡变大了,而是内存变成了主角。192GB 内存、PCIe 5.0 通道、NVMe 硬盘,三者凑齐,才撑得起“旗舰模型本地跑”这句话。

所以下次再看到类似的爆款说法,建议你养成一个习惯:先找括号里的前提,再看感叹号。

五、普通人想试,门槛到底高不高?

好消息是,门槛比想象中低一点。

官方提供了桌面版,Windows 和 Linux 都有,下载安装后会自动把引擎配好,图形界面里点几下就能选模型、开始聊天、调缓存参数。截图里那些滑杆——上下文长度、专家缓存大小——都是给普通人调的,不用背命令。想接 Claude Code、Codex 这类编程助手,它也提供了一键配置。

坏消息是,硬件门槛摆在那儿:

  • 必须是 NVIDIA 显卡,官方原生支持 RTX 30、40、50 系;
  • 命令行方式还要求较新的驱动和 CUDA 13 环境,老机器容易卡在环境配置上;
  • 内存是真正的隐形门槛,16GB 内存的笔记本,别对旗舰 MoE 抱太大期待,32GB 起步比较现实,想舒服跑 284B 级别,128GB 以上才从容。

适合谁?我觉得是三类人:一是对隐私特别敏感、资料不能上传云端的;二是想长期白嫖、又不想被 API 账单追着跑的;三是喜欢折腾的科技发烧友,把“让自家电脑跑起旗舰模型”本身当成乐趣。

如果你只是偶尔问几个问题,云端服务依然更省心。本地部署的意义,从来不是“更快”,而是“归我管”。

写在最后

FreeToken 这类项目真正有意思的地方,不是又破了一个参数纪录,而是它在提醒我们:本地推理的瓶颈,正在从“硬件容量”慢慢转向“软件会不会调度”。

同样一台电脑,换个引擎,可能从“跑不动”变成“勉强能聊”,再变成“还挺顺手”。这中间没有魔法,只有对显存、内存、通道的极致精打细算。

至于“单卡满血旗舰”这句话,我的态度是:它能做到,但“能”字后面藏着一串条件。看清条件再兴奋,不吃亏。

最后想问一句:你现在这台电脑,显卡多大显存、内存多少 G?如果只能二选一升级,你会先加显卡还是先加内存?评论区聊聊,我猜答案会很有意思。

登录后查看全文
FreeToken