一个引擎同时伺候苹果、N卡、A卡三家:TensorFold跨硬件抽象的"代价"到底有多大?
一个引擎同时伺候苹果、N卡、A卡三家:TensorFold跨硬件抽象的"代价"到底有多大?
最近本地大模型圈子挺热闹。你大概率也见过这种尴尬:
Mac 用户有一套跑法,NVIDIA 卡用户又一套,AMD 和 Intel 的用户更惨——能跑的框架本来就少,跑起来还得自己折腾。
换块显卡,等于重新学一套"方言"。
而最近常挂在 GitHub 热榜上的开源项目 TensorFold,偏偏就想把这件事"一揽子解决":同一个推理引擎,同时养 Metal、CUDA、Vulkan 好几套显卡后端。
听着很美对吧?但今天这篇文章想聊的恰恰是另一面:同时伺候这么多家硬件,这个代价到底有多高?非主流显卡到底吃没吃到红利?
先说结论:代价主要不是"慢",而是"累"和"不均衡"。 往下看。
一、它到底是个啥?先用大白话介绍下
TensorFold 是一个用 Zig 语言写的大模型推理引擎。
打个比方,它就是家里那位"认得灶的掌勺大厨":
- 模型权重他来端,问题他来听,答案他来出;
- 对外只开一个统一的"服务窗口"——接口兼容 OpenAI 的 Chat Completions,还顺带支持 Responses 和 Anthropic Messages 那几套,堪称"三合一窗口",你现有的各种 AI 客户端基本都能直接对接;
- 更狠的是:不用装 Python,不用装 MLX,一个二进制文件直接开干。
而这位"大厨"的神奇之处在于,他能根据你家的灶台换厨具:
- 你用 Mac(苹果芯片),他走 Metal 灶;
- 你用 N 卡,他走 CUDA 灶;
- 至于 Vulkan、AMD、Intel,则是他正在陆续点火的"新灶"。
一句话:一套引擎、一套接口、一份菜单,灶台随硬件换。

二、"三套后端"的真实家底:同门不同辈
说到"同时养三套后端",我把项目仓库里各后端的"厨具"(GPU 计算内核文件)数了一遍,差距相当直观:
- Metal(苹果):300 多个专用内核文件,家底最厚;
- CUDA(NVIDIA):260 多个,基本也是全套配置;
- Vulkan:目前只有 2 个文件,刚买完第一批刀;
- 另外社区还帮忙支起了两个"偏房":AMD 的 HIP 后端(65 个文件)和 Intel Arc 的 XPU 后端(25 个文件)。
所以真实进度是这样的:
Metal 和 CUDA 是"主力菜"。 从 2B 的小模型到 125B 的大模型,Qwen、GLM、Nemotron、Gemma 等一大批模型都能正式上桌,官方发布包目前正式支持的也就是这两套。
Vulkan 还在"试营业"。 官方 changelog 里的原话很诚实:目前只是把运行时的"地基"(设备管理、内存、任务提交)和第一个计算内核做出来了,还在测试卡上跑通了精度关卡——但"还没有任何模型能跑在它上面",而且它是可选编译的,默认安装完全不受影响。
AMD 和 Intel 是"社区加分项"。 27B 级别的模型已经真能端上桌了,但菜单是"部分点单",特色菜还在研发中。
这就是跨硬件抽象最直观的代价:不是"一份代码通吃所有硬件",而是"一个功能,每种硬件都得单独做一遍"。
三、统一抽象,到底牺牲了速度吗?
这里有个反直觉的点,值得单独说。
很多人默认"通用兼容 = 慢",觉得中间一定会垫一层"翻译官",翻译一次就慢一次。
TensorFold 的路线恰恰相反:它不给任何一块硬件用"翻译层",而是给每种硬件都写一套原生的、贴身优化的计算内核。 Mac 上跑的是 Metal 原生代码,N 卡上跑的是 CUDA 原生代码,谁也不经过"解释器"。
那代价花在哪了?我总结了三个:
代价一:统一的不是速度,是"合同"。
项目里有条铁律叫"精确解码":不管走什么加速捷径,吐出来的每一个词,都必须和"老老实实算"的结果对得上,而且要在每种硬件上反复交叉验证。
这就像连锁餐厅要求每个分店的菜"味道必须一模一样",背后是大量的验收工作量。而且官方措辞相当坦诚:不同后端、不同的量化方式,输出结果有可能是不同的——跨硬件是"同菜谱、不同锅气",不保证"一个味儿"。
代价二:进度永远对不齐。
新功能落地(比如"预测下一段"的草稿加速),Metal 和 CUDA 用户当天就能吃上,AMD 用户得等一等——它的草稿引擎还在开发中,目前跑不了那套加速;Vulkan 用户等的更久。拿着 A 卡兴奋冲进来,发现只能点"部分菜",这种落差就是抽象层的日常。
代价三:人效。
一个功能更新,意味着多套内核要改、Mac 和 DGX Spark 和各种 N 卡要分别实测,连"测试结果必须可复现"都有专门的社区基准系统来把关。你去看它的更新日志,厚得像块砖——那都是"多养一套后端"的账单。

四、非主流显卡,是真红利还是画饼?
先给结论:有红利,但得接受"坐等公交"的折扣。
来看看网上的真实实测数据:
- Intel Arc Pro B70:社区玩家已经"非官方"跑通了 Qwen3.8-27B,还带上了草稿加速和多路并发;
- AMD Radeon 8060S:有玩家实测 Flash Next 模型冷启动解码快了大约 45%;
- NVIDIA DGX Spark:单机跑通 125B 的 INT4 模型,8 路并发能到 274~380 token/秒,262k 长上下文真实可用;社区里还有"两台 DGX Spark 合跑 GLM-5.3-Flash"的完整实操;
- Mac 阵营:Mac Studio(M3 Ultra)单流实测 100 token/秒左右,另有 M5 Max 上 27B 长上下文对比测试,结论是 TensorFold 在长序列访存和算子融合上占优——不过也有坑:不预热、只测一次,数字会"虚胖";
- 对比同类:社区拿它和 OMLX 做过横评,说法是 TensorFold 偏性能敏感场景,OMLX 偏开箱即用,"按需求搭配着用"。
这对普通人意味着什么?
如果你是 Mac 用户:这大概是当前第一梯队的本地大模型引擎了。用 Homebrew 一条命令装好,下载模型、启动服务,几分钟的事;还有一个 tensorfold web 本地网页,打开就能挑模型、直接开聊;想要图形界面,Mac 桌面版(beta)也备好了,实时生成指标都给你摆出来。
如果你有 N 卡:Linux 下下个发布包就能用,Windows 也有原生构建指南。大模型不够单台塞?两台机器拉起来分片跑,社区已经踩过全套坑并留了手册。
如果你是 AMD / Intel 卡用户:能跑,真能跑,但要接受"部分功能"——就像店开业了,招牌菜还在研发。
五、写在最后
TensorFold 对普通人最大的价值,四个字:硬件自由。
以前你能用哪个 AI 引擎,很大程度上是被芯片"指定"的。它想改变的就是这个:一套引擎、一套接口、一套使用习惯,底下那块芯片是苹果、N 卡还是别的,随便换,你用的模型不需要"重学一遍"。
而这份"自由"的代价,由开发团队默默买单:多套内核、多轮验证、各硬件进度参差不齐——这才是"跨硬件抽象的代价"真正的含义。它换来的不是"差不多能用",而是"每家灶上都是一等座"。
照这个节奏,等 Vulkan 后端的菜单渐渐齐整,普通玩家的显卡也许也能原生跑起高速大模型——到时候,"本地 AI"和"什么卡"之间的关系,可能就真的松绑了。
最后留个话题给大家:
如果本地大模型引擎能原生跑在你家 GPU 上,你会选苹果、N 卡、A 卡还是 Intel?为什么?
评论区聊聊,我看看大家的"卡"都是什么成色。