一块芯片一套“方言”的时代要结束了?TVM、Triton、TileLang同台之后,国产AI编译生态正在换挡

原创2026-10-23 11:43:061,976 阅读
文章标签:编译器编程语言高性能计算深度学习人工智能Ascend

一块芯片一套“方言”的时代要结束了?TVM、Triton、TileLang同台之后,国产AI编译生态正在换挡

一年多前,北京中关村车库咖啡里挤进了两百来号人。

海报上写着两行字挺有意思:一开始是“TVM/Triton/TileLang 同台炫技”,后来改成了“各展所长”。就差两个字,味道完全不一样——从“谁更牛”,变成了“谁干哪块活”。

这场由 HyperAI 超神经办的 AI 编译器沙龙,请来了 AMD、沐曦、字节跳动和北京大学的人,圆桌主题只有七个字:跨硬件的统一编译生态。

一年后再回头看,那场圆桌聊的东西,正在一个个变成现实:DeepSeek 把自家模型往国产芯片上搬,海光拉着中科院计算所去优化 TileLang,华为昇腾也把这条路修通了。

今天咱们就用大白话,聊聊这条“看不见的赛道”到底在争什么。

一、先搞懂:AI 编译器到底是个啥?

你可以把它想象成翻译官。

你写的是“人话”(Python),芯片只听得懂“方言”(CUDA、HIP、各种国产指令集)。中间必须有人翻译,这个翻译官就是编译器。

翻译得好,模型跑得飞快;翻译得烂,再贵的卡也像堵在早高峰——算力明明在那儿,就是使不上劲。

所以行业里有句话:芯片决定上限,编译器决定你能摸到几成上限。

过去这块地盘基本是英伟达的天下。开发者想榨干性能,就得手写 CUDA,一行一行跟硬件较劲,学个半年起步,写出来还得反复调。

现在的问题更棘手:国产芯片越来越多,海光、沐曦、摩尔线程、昇腾、天数……每家都有自己的“方言”。总不能每换一块卡,就把几百万行代码重写一遍吧?

这就是那场沙龙真正在讨论的事。

二、三位主角,三种活法

第一位:Triton,主打“自动挡”。

它是 OpenAI 提出来的,思路很讨喜——你用 Python 描述“我要算什么”,底层怎么切、怎么排、怎么调度,编译器自己想办法。就像开车挂 D 挡,踩油门就行。

AMD 干的事更实在:把这套东西移植到自家 GPU 上,还回馈给了开源社区。等于告诉开发者——你原来那套写法,来我这儿也能跑。

第二位:TVM,主打“老牌全能翻译”。

它是这条赛道上的老前辈,生态厚、积累深。沐曦在沙龙上分享的,就是怎么把这套老牌编译器搬到自家 GPU 上。

听着简单,实际全是坑:指令不一样、内存模型不一样、算子库对不上。他们做的事,本质是把已经长成的 AI 生态,一棵一棵往国产土壤里移栽。

第三位:TileLang,主打“半自动、可控”。

它是这三位里最年轻的,2025 年 1 月才开源,如今版本走到 0.1.15。名字里的 Tile 就是“瓦片、分块”的意思。

这里得解释一下什么叫“分块”——想象你要搬一块巨大的蛋糕,一口吞不下,得切成小块,一块一块送进嘴里。

GPU 计算也是这个道理:数据太大塞不进高速缓存,就得切成小块,一块算完再算下一块,顺便让搬运和计算同时进行。切多大、怎么切、先搬哪块,直接决定快慢。

Triton 是“我帮你切好”,TileLang 是“切法你自己定,但切的动作我帮你干”。对追求极致性能的工程师来说,这个自由度很要命。

主办方在活动介绍里给了一个很抓人的数字:在主流 GPU 上,TileLang 相比传统编译器可实现最高 6 倍性能提升。这个数字来自官方宣传口径,具体场景还得自己实测,但方向是清楚的——它想让“性能优化”不再是少数专家的独门手艺。

三、它凭什么突然火了?因为 DeepSeek

真正把 TileLang 推到聚光灯下的,是 DeepSeek。

DeepSeek 的 MLA 注意力机制是出了名的难写——头维度特别大,寄存器一不小心就“爆仓”,性能直接崩。当年 FlashMLA 是用 CUTLASS 模板硬啃下来的。

而 TileLang 官方给出的成绩是:大约 80 行 Python 代码,性能就能跟 FlashMLA 打得有来有回,还明显甩开 Triton 和 FlashInfer。

看这张图更直观,横轴是上下文长度,纵轴是算力利用率:

MLA 解码性能对比

红色那条线就是 TileLang,几乎贴着蓝色的 FlashMLA 走,而绿色的 Triton 被压在下半区。用不到一百行 Python,干到这个份上,说服力确实强。

后来的事大家都知道了:DeepSeek V3.2、V4 的算子示例直接进了 TileLang 仓库;DeepSeek 开源昇腾平台基础组件时,TileLang 被摆在了显眼位置;昇腾 950 后端也正式上线,官方支持原生代码生成和自动调度。

于是国产芯片厂商开始排队适配:海光、沐曦、摩尔线程、天数智芯,各自维护着自己的适配版本。

一个开源项目,硬是长成了一张“国产芯片适配地图”。

四、效果到底怎么样?别光听,看图

工程师最爱看的东西,是把不同方案摆在一起,比谁跑得快。

这是 H100 上的算子对比图。纵轴是“延迟”,柱子越低越快,虚线以上就代表比 TileLang 慢:

H100 算子性能对比

矩阵乘、卷积、FP4 低精度矩阵乘、FlashAttention 四类任务摆在一起,TileLang 的柱子基本都趴在最低那一档。特别是 Mamba-2 那类序列模型任务,差距拉得更开。

有人会说:这不就是又造了个轮子吗?

还真不是。TileLang 最聪明的一步,是它站在 TVM 这个“老地基”上盖房子——底层复用了 TVM 的中间表示、目标描述和代码生成,上层换了一套更贴近硬件工程师直觉的写法。相当于老房子结构不动,把客厅重新装修成了开放式的。

所以它既不是从零起步的莽撞少年,也不是推倒重来的革命派,而是“在老树上嫁接新枝”。

还有个细节挺打动普通开发者的:它自带一个“布局可视化”工具。GPU 里数据怎么摊到每个线程身上,本来是纯靠脑补的黑箱,现在能直接画成一张彩色格子图:

线程与数据映射可视化

每个格子里写着“第几号线程、第几号局部位置”,一眼就能看出哪块数据被谁管着。以前调性能靠猜,现在能看了。

五、圆桌上的共识:不是谁干掉谁

那场沙龙最有价值的部分,其实是圆桌。

主题叫“跨硬件的统一编译生态”,潜台词是:能不能写一次,到处都能跑?

答案没那么浪漫。几位讲者的共识大致是——分层,而不是统一到只剩一家。

打个比方:手机充电口统一成了 Type-C,但各家手机内部的主板设计依然千差万别。AI 编译器也一样,上层给开发者一套相对统一的写法,下层各家芯片保留自己的“方言模块”。

Triton 适合快速开发、动态形状多的场景;TVM 适合把成熟生态整体搬过去;TileLang 适合追求极致性能、愿意自己掌控分块策略的团队。

“各展所长”这四个字,才是那天真正的结论。

六、普通人、普通开发者,能玩吗?

门槛比想象中低。

装它只要一行命令,官方也提供现成的安装包,Windows、macOS、Linux 都覆盖了。更友好的是,它有个“只编译不运行”的模式——你手上没有显卡,也能在笔记本上把它生成的底层代码打出来看看,学习成本一下就降下来了。

支持范围也铺得挺开:

  • 英伟达从老卡到最新的 Blackwell 架构
  • AMD 的 MI300X 这类卡
  • 苹果 M 系列芯片(Metal)
  • 华为昇腾 950
  • 普通 CPU 也能跑

适合谁?我的判断是三类人最该关注:做 AI 推理优化的工程师、想在新硬件上跑模型的技术团队、以及想搞明白“模型为什么快/为什么慢”的学生和爱好者。

如果你只是想用 AI 写文案、做图,那确实不用碰它。但你手机里那个“秒回”的语音助手、你刷视频时那个不卡顿的推荐流,背后都有这类技术在默默省电、省时间。

写在最后

从“早鸟票倒计时”的抢座热潮,到圆桌上“各展所长”的冷静表态,这一年多的变化其实说明了一件事:

中国 AI 的短板,正在从“有没有芯片”,往“芯片好不好用”上挪。而编译器,就是那道把硬件变成生产力的桥。

桥修得好不好,普通用户感受不到,但你会感受到手机更省电、AI 回答更快、视频加载不用转圈。

最后留个问题给大家聊聊:如果未来国产芯片真的做到“写一次,到处跑”,你觉得最先被改变的会是哪个场景——是手机上的 AI 助手,还是工厂里的智能质检,又或者是你家那台越来越聪明的车?

评论区见。

登录后查看全文
tilelang