读懂GLM-5.3-Flash-MXFP4的AgentX压测方法论:9档并发、393条语料、900秒如何测出真本事

原创2026-11-10 16:24:451,341 阅读

读懂GLM-5.3-Flash-MXFP4的AgentX压测方法论:9档并发、393条语料、900秒如何测出真本事

GLM-5.3-Flash-MXFP4 是一个面向 AMD Instinct MI355X 的 MXFP4 量化 GLM-5.3-Flash 检查点。本项目最有价值的不只是权重本身,而是一套可审计的 AgentX 压测方法论:用 9 档阶梯并发、393 条真实长上下文语料、每档 900 秒固定窗口,把量化后的服务性能"逼"出真面目。这篇文章带你拆解它是怎么做到的。

🧪 这套压测到底在测什么

AgentX 不是"喂一句 Hello"式的简单问答,而是一套 Agent 风格的长上下文负载:单条请求输入平均约 10 万 token,上限 262,144 token,模拟真实 Agent 连续调用中的多轮、长轨迹场景。压测目标是在高并发下看三件事:

  • 聚合吞吐(output tok/s):整台机器每秒能吐多少 token
  • 单用户体感(P90 tok/s/user):第 90 百分位用户的出字速度,衡量"不卡不挤"
  • 稳定性:请求错误数、缓存命中率、投机解码接受率

核心参数一览:

项目 取值
硬件 4× AMD Instinct MI355X VF(gfx950)
语料 semianalysis_cc_traces_weka_062126_256k,393 条
每档时长 900 秒固定窗口
随机种子 42
并行方式 TP4 / EP4
KV 缓存 FP8 E4M3,page size 64
投机解码 EAGLE 5/1/6(真实接受,非模拟)

完整协议写在 reproduction/fp8-mxfp4-agentx-protocol.md,逐档原始结果在 assets/mxfp4-agentx-frontier.json。

📊 9档阶梯并发:从 c1 一路压到饱和

压测把并发从 1 开始按 1、2、4、8、16、32、48、64 逐档抬升,每档跑满 900 秒,取稳态数据。这是"档位法"压测的标准姿势:低档看单用户体验,高档看机器极限。其中 c1–c48 用于正式 frontier 统计,c64 只作为饱和诊断点,不计入结论。

每档执行前都遵循同一套动作:全新服务器、相同预热、显式重置缓存、计时期间不挂 profiler——因为 profiler 本身会扭曲测量结果。这是很多公开压测容易忽略的细节。

实测结果(4× MI355X,来自 assets/mxfp4-agentx-frontier.json):

并发 输出 tok/s P90 tok/s/user 完成请求数
c1 262.19 380.35 207
c2 441.34 337.36 399
c4 768.45 294.51 675
c8 1,269.90 238.61 1,243
c16 1,831.06 176.74 1,595
c32 2,175.11 106.55 2,268
c48 2,355.83 73.01 2,714
c64(诊断) 2,352.26 50.16 2,709

一眼能看出典型形态:吞吐曲线在 c48 附近见顶,而 c64 吞吐几乎不涨、单用户速度反而掉到 c48 之下——这正是系统进入排队饱和的信号。全部档位完成 11,810 个请求,请求错误数为 0。

📜 393条真实语料:为什么不用随机prompt

随机生成的 prompt 分布均匀、长度短,压不出长上下文 Agent 场景的真实压力。这套方案改用 393 条来自真实 Agent 轨迹的语料(semianalysis_cc_traces_weka_062126_256k),并做了三件保证公平的事:

  1. 语料指纹固化:整个语料集记录 SHA-256(corpus_identity_sha256),任何对比实验都必须使用字节级相同的输入;
  2. 回放范围与节奏固定:轨迹切片 0.25–0.75、轮间空闲上限 10 秒、种子 42,保证两边"出题顺序和节奏"一致;
  3. 采样策略冻结:temperature=0、ignore_eos=true,输出长度不受模型"想停就停"的影响。

这样,两次运行的唯一变量就只剩下检查点本身。

🔒 冻结变量清单:只比模型,不比环境

这套协议最严谨的地方在于"冻结清单"长到令人发指。除检查点外,以下全部锁死:

  • 同一容器镜像(记录到 sha256 摘要)与同一 SGLang 源码 commit
  • 同一 tokenizer 修订版,连 chat_template.jinja 的哈希都记录在 reproduction/tokenizer-provenance.json
  • 相同 TP4/EP4 放置、FP8 KV 策略、EAGLE 5/1/6、HiCache 参数
  • 相同 HTTP keep-alive 配置(避免 5 秒默认超时误杀可复用连接)

而"被测变量"只有两个检查点:官方 FP8 与 OneNexus MXFP4(差异仅在 quantization_config,架构完全一致)。完整对照协议见 reproduction/fp8-mxfp4-agentx-protocol.md。

🚦 资格门禁与止损规则:测不准就不发布

计时开始前要过四道"资格门禁":

  1. 长上下文探针必须通过
  2. 固定 GSM8K 正确性门槛必须通过
  3. 确认 EAGLE 投机解码是真实接受并记录接受长度/接受率
  4. 确认图回放(graph replay)覆盖目标并发、无 fallback、无请求错误

还有明确的止损规则:输出损坏、配置不符、无法解释的错误、明显正确性回退,一律停止对比并先诊断——"吞吐快"本身不构成发布理由。此外,AgentX 是纯文本负载,压测结束后还会对两个检查点各跑一个"带图请求 + 图片追问"的多模态兼容性门禁(脚本 reproduction/probe_glm53_vlm_recipe.py),且这条结果不得混入性能结论。

📈 测完之后:数据如何汇总成结论

结论不是取某一档的数字,而是逐档计算比值再取几何平均:

  • 相对官方 FP8:聚合输出几何平均 +12.4%,P90 单用户速度 +18.2%,且检查点文件体积减少 40.44%(182.12 GiB vs 305.78 GiB)
  • 相对 AMD Quark 版 MXFP4:几何平均吞吐低 0.1%、P90 单用户高 1.0%——这是一个"性能持平"结论,被如实记录而非包装成胜利(两侧明细见 assets/checkpoint-agentx-onenexus.json 与 assets/checkpoint-agentx-amd.json)

可审计性同样到位:每个档位都带 identity_sha256,用 reproduction/verify_agentx_artifacts.py 可校验档位目录中的命令、导出指标与协议是否一致;跨 GPU 分区的结果用 reproduction/combine_agentx_partitions.py 合并时强制要求身份字段完全一致。诊断性 GPU trace(c16/c48)的分析口径记录在 reproduction/profile-provenance.json 与 assets/final-c16-trace-summary.json、assets/final-c48-trace-summary.json。

🛠️ 如何复现这套AgentX压测

⚠️ 提醒:图中 B300 蓝色曲线是外部提供的估算值,硬件、DSA 后端与服务安装都不同,只作前沿示意,不是跨硬件加速比声明。

💡 给普通用户的三点启示

  1. 档位法 + 固定窗口:并发阶梯每档跑满 900 秒取稳态,比"跑一遍看平均"更接近生产真实;
  2. 冻结变量 + 哈希留痕:镜像、源码、tokenizer、语料全部钉死并记录哈希,对比才只比"你想比的那个变量";
  3. 门禁 + 止损:先验正确性再测性能,测不准就不发布——诚实的方法论比漂亮的数字更值钱。

读懂这套 AgentX 压测方法论,你不仅能看懂 GLM-5.3-Flash-MXFP4 的性能数据,还能把它当作 LLM 服务压测的一份可执行范本。

登录后查看全文
GLM-5.3-Flash-MXFP4