读懂GLM-5.3-Flash-MXFP4的AgentX压测方法论:9档并发、393条语料、900秒如何测出真本事
读懂GLM-5.3-Flash-MXFP4的AgentX压测方法论:9档并发、393条语料、900秒如何测出真本事
GLM-5.3-Flash-MXFP4 是一个面向 AMD Instinct MI355X 的 MXFP4 量化 GLM-5.3-Flash 检查点。本项目最有价值的不只是权重本身,而是一套可审计的 AgentX 压测方法论:用 9 档阶梯并发、393 条真实长上下文语料、每档 900 秒固定窗口,把量化后的服务性能"逼"出真面目。这篇文章带你拆解它是怎么做到的。
🧪 这套压测到底在测什么
AgentX 不是"喂一句 Hello"式的简单问答,而是一套 Agent 风格的长上下文负载:单条请求输入平均约 10 万 token,上限 262,144 token,模拟真实 Agent 连续调用中的多轮、长轨迹场景。压测目标是在高并发下看三件事:
- 聚合吞吐(output tok/s):整台机器每秒能吐多少 token
- 单用户体感(P90 tok/s/user):第 90 百分位用户的出字速度,衡量"不卡不挤"
- 稳定性:请求错误数、缓存命中率、投机解码接受率
核心参数一览:
| 项目 | 取值 |
|---|---|
| 硬件 | 4× AMD Instinct MI355X VF(gfx950) |
| 语料 | semianalysis_cc_traces_weka_062126_256k,393 条 |
| 每档时长 | 900 秒固定窗口 |
| 随机种子 | 42 |
| 并行方式 | TP4 / EP4 |
| KV 缓存 | FP8 E4M3,page size 64 |
| 投机解码 | EAGLE 5/1/6(真实接受,非模拟) |
完整协议写在 reproduction/fp8-mxfp4-agentx-protocol.md,逐档原始结果在 assets/mxfp4-agentx-frontier.json。
📊 9档阶梯并发:从 c1 一路压到饱和
压测把并发从 1 开始按 1、2、4、8、16、32、48、64 逐档抬升,每档跑满 900 秒,取稳态数据。这是"档位法"压测的标准姿势:低档看单用户体验,高档看机器极限。其中 c1–c48 用于正式 frontier 统计,c64 只作为饱和诊断点,不计入结论。
每档执行前都遵循同一套动作:全新服务器、相同预热、显式重置缓存、计时期间不挂 profiler——因为 profiler 本身会扭曲测量结果。这是很多公开压测容易忽略的细节。
实测结果(4× MI355X,来自 assets/mxfp4-agentx-frontier.json):
| 并发 | 输出 tok/s | P90 tok/s/user | 完成请求数 |
|---|---|---|---|
| c1 | 262.19 | 380.35 | 207 |
| c2 | 441.34 | 337.36 | 399 |
| c4 | 768.45 | 294.51 | 675 |
| c8 | 1,269.90 | 238.61 | 1,243 |
| c16 | 1,831.06 | 176.74 | 1,595 |
| c32 | 2,175.11 | 106.55 | 2,268 |
| c48 | 2,355.83 | 73.01 | 2,714 |
| c64(诊断) | 2,352.26 | 50.16 | 2,709 |
一眼能看出典型形态:吞吐曲线在 c48 附近见顶,而 c64 吞吐几乎不涨、单用户速度反而掉到 c48 之下——这正是系统进入排队饱和的信号。全部档位完成 11,810 个请求,请求错误数为 0。
📜 393条真实语料:为什么不用随机prompt
随机生成的 prompt 分布均匀、长度短,压不出长上下文 Agent 场景的真实压力。这套方案改用 393 条来自真实 Agent 轨迹的语料(semianalysis_cc_traces_weka_062126_256k),并做了三件保证公平的事:
- 语料指纹固化:整个语料集记录 SHA-256(
corpus_identity_sha256),任何对比实验都必须使用字节级相同的输入; - 回放范围与节奏固定:轨迹切片 0.25–0.75、轮间空闲上限 10 秒、种子 42,保证两边"出题顺序和节奏"一致;
- 采样策略冻结:
temperature=0、ignore_eos=true,输出长度不受模型"想停就停"的影响。
这样,两次运行的唯一变量就只剩下检查点本身。
🔒 冻结变量清单:只比模型,不比环境
这套协议最严谨的地方在于"冻结清单"长到令人发指。除检查点外,以下全部锁死:
- 同一容器镜像(记录到
sha256摘要)与同一 SGLang 源码 commit - 同一 tokenizer 修订版,连
chat_template.jinja的哈希都记录在 reproduction/tokenizer-provenance.json - 相同 TP4/EP4 放置、FP8 KV 策略、EAGLE 5/1/6、HiCache 参数
- 相同 HTTP keep-alive 配置(避免 5 秒默认超时误杀可复用连接)
而"被测变量"只有两个检查点:官方 FP8 与 OneNexus MXFP4(差异仅在 quantization_config,架构完全一致)。完整对照协议见 reproduction/fp8-mxfp4-agentx-protocol.md。
🚦 资格门禁与止损规则:测不准就不发布
计时开始前要过四道"资格门禁":
- 长上下文探针必须通过
- 固定 GSM8K 正确性门槛必须通过
- 确认 EAGLE 投机解码是真实接受并记录接受长度/接受率
- 确认图回放(graph replay)覆盖目标并发、无 fallback、无请求错误
还有明确的止损规则:输出损坏、配置不符、无法解释的错误、明显正确性回退,一律停止对比并先诊断——"吞吐快"本身不构成发布理由。此外,AgentX 是纯文本负载,压测结束后还会对两个检查点各跑一个"带图请求 + 图片追问"的多模态兼容性门禁(脚本 reproduction/probe_glm53_vlm_recipe.py),且这条结果不得混入性能结论。
📈 测完之后:数据如何汇总成结论
结论不是取某一档的数字,而是逐档计算比值再取几何平均:
- 相对官方 FP8:聚合输出几何平均 +12.4%,P90 单用户速度 +18.2%,且检查点文件体积减少 40.44%(182.12 GiB vs 305.78 GiB)
- 相对 AMD Quark 版 MXFP4:几何平均吞吐低 0.1%、P90 单用户高 1.0%——这是一个"性能持平"结论,被如实记录而非包装成胜利(两侧明细见 assets/checkpoint-agentx-onenexus.json 与 assets/checkpoint-agentx-amd.json)
可审计性同样到位:每个档位都带 identity_sha256,用 reproduction/verify_agentx_artifacts.py 可校验档位目录中的命令、导出指标与协议是否一致;跨 GPU 分区的结果用 reproduction/combine_agentx_partitions.py 合并时强制要求身份字段完全一致。诊断性 GPU trace(c16/c48)的分析口径记录在 reproduction/profile-provenance.json 与 assets/final-c16-trace-summary.json、assets/final-c48-trace-summary.json。
🛠️ 如何复现这套AgentX压测
- 完整启动参数(镜像、commit、EAGLE、HiCache 等 60+ 项配置):reproduction/public-serving-recipe.md
- 启动前资格验证记录:reproduction/current-source-validation.json
- frontier 图的数据与渲染脚本:assets/fp8-mxfp4-agentx-frontier.png、reproduction/render_fp8_mxfp4_frontier.py
- 外部 B300 参考值单独存放并明确标注"非本项目实测":assets/b300-agentx-estimates.json
⚠️ 提醒:图中 B300 蓝色曲线是外部提供的估算值,硬件、DSA 后端与服务安装都不同,只作前沿示意,不是跨硬件加速比声明。
💡 给普通用户的三点启示
- 档位法 + 固定窗口:并发阶梯每档跑满 900 秒取稳态,比"跑一遍看平均"更接近生产真实;
- 冻结变量 + 哈希留痕:镜像、源码、tokenizer、语料全部钉死并记录哈希,对比才只比"你想比的那个变量";
- 门禁 + 止损:先验正确性再测性能,测不准就不发布——诚实的方法论比漂亮的数字更值钱。
读懂这套 AgentX 压测方法论,你不仅能看懂 GLM-5.3-Flash-MXFP4 的性能数据,还能把它当作 LLM 服务压测的一份可执行范本。