100 tok/s！GLM-5.3 在英伟达 GB200 上飙出开源推理新纪录，开源模型开始卷速度了

用AI写代码、写方案的朋友，肯定都有过这种抓狂时刻：屏幕上光标一闪一闪，AI半天蹦出几个字，像极了几十年前的拨号上网。一篇长文档、一次复杂的程序修改，愣是能让你端杯咖啡来回等十分钟。

但就在最近，一个数字刷爆了科技圈：GLM-5.3 在英伟达最新的 GB200 平台上，跑出了每秒 100 Token 的输出速度，直接把开源大模型的推理速度卷上了新高度。

一、每秒100字，到底是个什么概念？

先别被"Token"这个词吓到，把它理解成AI"写字"的最小单位就行。中文场景下，一个Token大约相当于一个字。

每秒100个Token，就是说这台AI每秒钟能往外吐100来个字。你眨一下眼，它已经写完好几行；你喝完一口水的工夫，它洋洋洒洒给你交出一篇小作文。

普通人打字一分钟大概四五十个字，而它一秒钟就顶你打两分钟。更夸张的是，这不是憋一口气偶尔冲一次峰值，而是长期稳定、每分每秒都在这个速度上狂奔。

以前用AI干长活儿，最怕它"想半天、挤牙膏"；现在这个速度意味着什么？意味着跟AI实时对话、边想边聊，几乎感觉不到延迟，就像对面坐了个反应极快的同事。

二、它到底是个啥？凭什么这么火？

GLM-5.3，出自智谱AI（Z.ai）之手，就是那个做出国产开源大模型ChatGLM系列的团队。这一次，他们把"开放权重里最能写代码的模型"这个名号，稳稳攥在了手里。

有意思的是，官方说得很实在：GLM-5.3 和上一代 GLM-5.2 用的是同一副"身体骨架"，所有进步全靠后天的"强化补习"——也就是行业里说的后训练。翻译成大白话：底子没换，但老师给它开小灶开得更狠了，于是从"会写"进化成了"写得又快又好"。

现在这个模型有多强？官方数据里藏着三个让人倒吸凉气的亮点。

第一，写代码像开了挂。 在智谱自家的编程评测里，它比 GLM-5.2 直接提升了50%；在一个叫"终端任务"的实战测试里，上一代只能考4.6分，它一口气考到28.3分，翻了整整六倍。让AI独立操作电脑、跑完一整套复杂任务，它已经能稳稳接住。

第二，能自己"挖漏洞"了。 这是最让人意外的一点。在网络安全测试CyberGym里，它找软件漏洞的准确率达到84.5%，把一众国内外大模型都甩在身后，连闭源旗舰都被它压了一头。用网友的话说："能自己挖漏洞的开源模型，出现了。"

第三，记忆力大得吓人。 它能一次记住上百万字的上下文——相当于一口气把几部《三体》塞进去，还能条理清晰地回答你任何细节问题。

三、这100的速度，是怎么"卷"出来的？

懂行的朋友会问：GB200 不是英伟达最顶级的硬件吗？跑得快不是应该的吗？

这里面的门道恰恰是这次刷屏的关键：光靠堆硬件不够，还得软硬件"手拉手"配合。

这次把 GLM-5.3 送上速度巅峰的，是专注分布式AI的团队 Prime Intellect 推出的推理平台。他们干了几件"外科手术"级别的事：把AI"读题"和"答题"两个环节拆开，分给不同的显卡小组专门干，谁也不抢谁的算力；又用新技术给模型记忆"瘦身压缩"，让显卡能同时塞下更多活儿；连AI跨卡传输资料这种细碎环节，都重新排了队，把通信时间硬生生砍掉近一半。

结果就是：长会话不卡了、并发高了、连AI"调错工具"这种最让人头疼的翻车都几乎绝迹。 上线以来保持100%无故障运行，在开放路由平台OpenRouter上，直接排进同款模型速度最快的第一梯队。

而智谱自家也没闲着，紧跟着推出了 GLM-5.3-FlashX 版本，速度直接拉满到每秒200 Token，还给出了极具诱惑力的低价。再加上GLM-5.3已经上架亚马逊云科技，海外开发者随取随用——消息一出，智谱股价应声涨了近5%，全网都在讨论："国产开源模型，这次是真出圈了。"

四、普通人能玩吗？门槛高不高？

看到这儿，可能有读者要打退堂鼓："又是英伟达顶级显卡，又是上百份模型文件，跟我有什么关系？"

别急，绝大多数人根本不用碰硬件。智谱把 GLM-5.3 挂在了自家开放平台上，网页、手机App都能直接对话，还有免费额度可以白嫖——前阵子Flash版本甚至推出过夜间免费时段，不少人熬夜排队体验。企业用户走API调用，也是OpenAI那套标准接口，改一行配置就能无缝切换。

只有真正的技术发烧友，才会琢磨自己拿大显卡本地部署。对普通打工人来说，你只需要关心：这个"代码小能手"能不能帮我改报表、写脚本、审合同、做方案。 而答案显然是：能，而且这次是飞快地能。

五、开源模型的"速度军备竞赛"，正式打响了

过去两年，开源大模型的较量一直停在"谁更聪明"上——你考90分，我考91分，粉丝吵得面红耳赤。但这次的100 tok/s，把战场拉到了一个新的维度：不光要聪明，还要手快。

当写代码、跑自动化任务这类"长跑项目"成为AI的主战场，速度就是实打实的生产力。你多等一分钟，就是多烧一分钟的算力钱、多耽误一分钟的工期。谁能把旗舰模型跑得又快又稳又便宜，谁就能抢下企业级市场的大蛋糕。

一边是模型本体能力突飞猛进，一边是推理底座拼命提速，开源模型的门槛，已经被抬到了新高度。 下一个问题就是：其他家什么时候跟上？是卷出200、300，还是干脆换个赛道？

最后想问问大家：你现在用AI干活，最不能忍的是"它太笨"还是"它太慢"？评论区聊聊，看看有多少人和你同款感受。