GB200上飙出100 tok/s：GLM-5.3把开源推理卷上新高度

"开源模型能跑"与"开源模型好用到让人愿意为它付钱"之间，隔着一道名为推理速度的坎。过去一年，开源社区的共识是：一个 300B 量级的 MoE 模型，能在一张 H100 上跑到 30～40 tok/s 已算优秀；能顶着 1M 上下文还保持流畅，几乎只能靠云厂商的独家优化。而这一次，GLM-5.3-Flash 在英伟达 GB200 平台上飙出了 100 tok/s 的单流生成速度，直接把"开源推理"这个赛道卷到了新的高度。本文从全网舆情出发，回到 zai-org/GLM-5.3-Flash 仓库源码内部，拆解这个数字是怎么被设计出来的，以及它对自建集群与云上部署意味着什么。

100 tok/s：从"能跑"到"好用"的分水岭

先给这个数字一个直觉。100 tok/s 意味着每秒生成约 100 个 token，一分钟 6000 token，一份 2000 token 的完整代码补丁大约 20 秒即可生成完毕；一个 10 万 token 的长文档总结，在排除首 token 延迟后也仅需十几分钟。更关键的是并发维度：如果一个 Agent 工作负载的有效吞吐需求是 5～10 tok/s，那么单个 GB200 节点就能同时承载 10～20 个并发编码智能体会话而互不拖累——这正是"AI 结对编程从尝鲜变成日常"的算力前提。

对比一下行业坐标：主流闭源 API 的推理速度长期徘徊在 30～80 tok/s 区间，而绝大多数开源 70B 稠密模型在单卡上甚至难以稳定突破 20 tok/s。GB200 作为 NVIDIA Blackwell 时代面向大模型推理的主力平台，单机柜的显存带宽与互联能力是上一代的数倍，但它毕竟只是"硬件加速器"——软件与模型架构若不配合，再强的卡也只能喂给低效的计算图。GLM-5.3-Flash 能在 GB200 上跑到 100 tok/s，说明提速的源头在模型设计本身，而不是单纯堆硬件。

这一点在仓库的 config.json 中写得清清楚楚：GLM-5.3-Flash 是 320B 总参数、每 token 仅激活 18B 的 MoE 模型（n_routed_experts: 288、n_shared_experts: 1、num_experts_per_tok: 8），激活率约 5.6%。这意味着它"携带" 320B 的知识量，却只付出 18B 的推理算力——这是 100 tok/s 的第一块地基。而 README.md 中的表述也与之呼应：以 GLM-5.2 十分之一的价格，在编码与 Agent 基准上逼近 Claude Opus 4.8。

源码级拆解：320B 模型凭什么先跑进 100 tok/s

混合注意力：稀疏注意力 + 线性注意力

传统 Transformer 的推理瓶颈在注意力层的 KV Cache 与逐 token 的 O(L²) 计算。GLM-5.3-Flash 在 GLM 系列中首次引入稀疏注意力与线性注意力的混合架构，这在 config.json 的 layer_types 数组里可以逐层验证：全部 45 层中，第 3、7、11、15、19、23、27、31、35、39、43 层使用 deepseek_sparse_attention，其余 34 层使用 linear_attention。

稀疏注意力层通过 indexer 子模块（index_n_heads: 32、index_topk: 2048、index_kpool: 4）为每个查询挑选 top-k 关键 token，把注意力从"全量扫描"降为"定向检索"；线性注意力层则绕开二次方复杂度，让长序列的每步计算量几乎恒定。两者的组合直接决定了长上下文推理成本的结构性下降——而这正是 1M 上下文（max_position_embeddings: 1048576）模型能跑出高吞吐的关键。在 GB200 这类以显存带宽著称的平台上，注意力层省下的每一字节 KV 流量，都会兑现为生成阶段实实在在的 tok/s。

MLA 潜变量注意力与 mHC 超连接

仓库配置中还出现了 mla_use_nope: true、q_lora_rank: 1536、kv_lora_rank: 512——即 MLA（Multi-head Latent Attention）方案：把 KV 压缩进低秩潜空间，进一步削减 KV Cache 的体积。对长上下文 Agent 场景，KV 越小，批大小越大，单卡吞吐越接近带宽上限。

同时 mhc: true 表明模型启用了 Manifold-Constrained Hyper-Connections（mHC），配合 hc_mult: 4、hc_sinkhorn_iters: 20 等超参，在保持深层网络信息流动的同时提升扩展效率。README 指出这套设计让模型"用更少的算力换取更多智能"（more intelligence with less compute）——本质上，推理速度的提升一部分来自训练侧架构红利。

FP8 量化：e4m3 动态量化默认出厂

仓库的 quantization_config 显示 GLM-5.3-Flash 以 FP8（e4m3，动态激活量化） 格式发布权重，全部 62 个分片共约 328GB（model.safetensors.index.json 中 total_size: 328326771576）。FP8 相比 BF16 将权重与激活的内存占用和传输带宽减半，这在显存带宽敏感的解码阶段接近"白送的 2 倍提速"。

值得注意的工程细节是 modules_to_not_convert 白名单：注意力（attn_mha/attn_mqa）、超连接（hyper_connection）、lm_head 等关键模块被排除在量化之外，保留高精度。也就是说，量化省的是带宽，敏感模块保的是精度——这是 100 tok/s 不伴随明显质量回退的底气。

原生多模态：1M 上下文不止于文本

config.json 同时包含完整的 vision_config（24 层视觉编码器、patch 14、支持 temporal_patch_size: 2 的视频建模），processor_config.json 中图像 token 上限 8000、视频 token 上限 240000，chat_template.jinja 也原生支持 image/video/audio 内容的注入。这意味着 100 tok/s 的高吞吐面向的是"代码 + 截图 + 视频 + 工具调用"的混合工作负载，而非纯文本的实验室指标——对真实工程场景的参考价值更高。

横向参照：开源推理速度的坐标系正在被重绘

100 tok/s 并不是这条曲线上的终点。9 月 18 日，智谱上线了 GLM-5.3-FlashX，官方口径最高 200 tokens/s，是 Flash 的又一档提速——两者的关系像"标准档"与"极速档"：Flash 追求平衡，FlashX 在相同架构上通过更强的推理侧优化把单流速度再翻一倍。把 GB200 实测 100 tok/s、FlashX 官方 200 tok/s 放在同一坐标系里看，GLM-5.3-Flash 已经稳居开源模型单实例推理速度的第一梯队，且在长上下文 Agent 场景下依然成立——这正是此前许多"快模型"做不到的（它们往往通过砍上下文或牺牲工具调用能力换速度）。

支撑这一坐标系的还有完整的部署生态。仓库 README.md 列出了 SGLang、vLLM、TokenSpeed、Transformers、KTransformers、Unsloth 等主流推理框架的接入方式，几乎覆盖了从云端集群到消费级单机的全部部署形态。这也解释了社区情报中反复出现的现象：GLM-5.3-Flash（曾以 "Ox Alpha" 名义发布）上线后调用量持续攀升，智谱在 10 万张国产芯片的推理算力基础上继续加码 Infra 投入——高速度不是一次性的营销数字，而是被生产流量反复验证过的能力。

对自建集群与云上部署的三个直接启示

第一，单节点经济性被重新定义。 官方定价中，GLM-5.3-Flash 为输入 0.8 元/百万 tokens、输出 2.8 元/百万 tokens（1M 上下文档），仅为旗舰 GLM-5.3（输入 8 元、输出 28 元）的十分之一。结合 100～200 tok/s 的单流速度，一个 GB200 节点在满负荷下能提供的 token 产能，足以支撑中小团队内部编码助手的全量并发需求——自建集群的门槛从"数卡起步"降为"一卡可战"，而 Flash 本就是为高吞吐、低成本、多模态高频调用设计的定位。

第二，量化与精度保留是生产环境的默认配置。 仓库默认即 FP8 动态量化（activation_scheme: dynamic），且白名单机制保留了注意力、超连接与 lm_head 的高精度。团队在自建部署时无需再纠结"要不要量化、量化哪些层"——官方已给出经过验证的默认档位；若要进一步下探显存（如社区实践中常见的 4bit 部署），Flash 的 MoE 稀疏性会让压缩收益比稠密模型更显著，因为激活专家少，量化误差的累积面更小。

第三，思考预算与输出控制直接决定吞吐账单。 README.md 与 chat_template.jinja 明确指出：模型通过 reasoning_effort（low/high/max）控制思考预算，clear_thinking 控制是否保留思考过程。在高并发 Agent 场景下，把 reasoning_effort 从默认 max 降为 high/low、对话场景显式传 clear_thinking=true，可以显著减少无效推理 token——这等于在不换硬件的前提下再挤出一档有效吞吐。

另一个值得留意的信号是渠道。GLM-5.3 已上架 Amazon Bedrock，并与阿里云百炼、华为云等国内外云厂商建立模型调用收入分成合作。这意味着 100 tok/s 的开源能力正在从"自己跑"走向"随处用"——自建集群与托管 API 两条路径同时打通后，开源推理的速度优势第一次可以按 token 明码标价地卖给全球用户。

从 30 tok/s 到 100 tok/s，开源模型用了不到两年；而从 100 tok/s 到 200 tok/s，GLM-5.3-Flash 家族只用了不到一个月。真正值得关注的不是某个峰值数字，而是这套"稀疏+线性混合注意力 + 低秩 KV + FP8 出厂量化 + 原生多模态"的组合拳，已经把开源推理的天花板从"硬件决定"改写为"架构决定"。当 320B 的模型能在 GB200 上以 100 tok/s 奔跑，下一个要卷的，就是谁能把同样的速度搬进更小的显存、更便宜的卡，以及更长的上下文里。