为什么InferenceX让静态基准测试过时:Day 0持续追踪DeepSeek、GLM、Kimi性能的秘密

原创2026-10-10 13:49:581,697 阅读
文章标签:人工智能大模型模型评测Agent 评测性能测试高性能计算排行榜

为什么InferenceX让静态基准测试过时:Day 0持续追踪DeepSeek、GLM、Kimi性能的秘密

InferenceX 是一个开源 LLM 推理基准研究平台,从模型发布当天(Day 0)起持续追踪 DeepSeek、GLM、Kimi 等大模型的真实推理性能。本文带你弄懂为什么"测一次、发一组数字"的静态基准已经过时,以及 InferenceX 靠性能变更日志、自动化 CI 复测和真实 Agent 负载这三招,把推理性能变成一条实时更新的曲线 📈

为什么静态基准测试正在快速过时?

很多人测大模型性能的方式是:挑一个版本、跑一遍、发布一组数字。问题在于,LLM 推理性能由两大支柱驱动:硬件和软件:

  • 🖥️ 硬件每年带来阶跃式提升(新 GPU、新机架级系统);
  • ⚡ 软件则每天都在演进——SGLang、vLLM、TensorRT-LLM 通过内核优化、分布式推理策略和调度创新,在相隔可能只有几天的增量版本中不断推高性能上限。

官方文档说得很直白:在某个固定时间点做的基准测试很快就会过时,无法代表最新软件包能达到的性能(见 README.md)。

也就是说,上周测的"当前最强",很可能这周就变了。你需要的不是一张快照,而是一条持续更新的性能曲线。

InferenceX 是什么:实时推理性能追踪平台

InferenceX™(Apache 2.0 许可)是一个与软件生态同速演进的自动化基准平台,受到 OpenAI、Meta、Microsoft、Oracle 等大规模推理运营商,以及 vLLM、SGLang、PyTorch 基金会等社区项目的信赖。它官方支持的硬件横跨两代以上架构:

类别 代表型号
🟢 NVIDIA Vera Rubin NVL72、GB300/GB200 NVL72、B300、B200、H200、H100
🟣 AMD MI455 UALoE72、MI355X、MI325X、MI300X
🔵 Google TPUv7x

仓库按职责拆成几个子项目,形成从端到端到内核层的完整追踪体系:

所有结果汇入一个免费公开的实时仪表盘 inferencex.com,任何人都能看到"此刻"各模型的真实性能。

秘密一:一份只增不减的"性能变更日志" 📝

InferenceX 的第一招,是一个名为 perf-changelog.yaml 的只追加(append-only)性能变更日志:inferencex-e2e/perf-changelog.yaml。

这份日志已有 1000 多条记录,每一条都是"谁改了什么 → 哪些基准需要重测"。举几个真实例子:

  • 把 vLLM 镜像从 0.10.2 一路更新到 0.13.0,每次升版都触发受影响配置的重测;
  • 为某模型添加编译优化配置后记录"llama 有 6-7% 提升";
  • 一次推测解码优化把 decode 单步耗时从 10.98ms 压到 6.79ms,并附带前后对照数字。

它的精妙之处在于双重身份:既是审计线索(为什么数字变了),又是触发器(该重测哪些点)。任何影响性能的改动——换框架版本、改镜像、调参数——都必须在这里登记,否则不会被自动重测。性能历史从此有据可查,而不是一堆散落的测试报告。

秘密二:改动即重测的自动化管线 ⚙️

第二招是把"重测"这件事完全交给流水线。整个链路是全自动的(详见 inferencex-e2e/docs/architecture.md):

  1. 声明:主配置文件 nvidia-master.yaml / amd-master.yaml 声明"测什么"——模型、框架、精度、拓扑、并发搜索空间;
  2. 选择:变更日志选中受影响的配置键,CI 自动生成测试矩阵;
  3. 执行:矩阵分发给自托管 GPU 集群,在真实硬件上跑基准、评测与功耗采集;
  4. 入库:合并后结果经幂等 ETL 自动进入数据库、刷新仪表盘缓存。

全程无人工搬运数字的环节。想理解这条管线如何运转,可以从文档导航 inferencex-e2e/docs/index.md 出发,重点看 ci-procedures.md。软件栈每前进一小步,曲线就自动往前走一小步——这正是"持续基准测试"的含义。

秘密三:真实 Agent 负载 + "北极星"帕累托前沿 🎯

测真实负载比测合成请求更难作弊。InferenceX 推出的 AgentX 是全球首个完全开源(Apache 2.0)的、百万级长上下文、多轮、真实流量轨迹回放式编码 Agent 基准——不再用"定长 prompt × 定长输出"的理想化场景,而是回放带子代理的真实 agentic coding 流量。

配合两个防"挑数字"机制:

  • E2E 归一化交互性:把 TTFT 和 decode 节奏合并成一个"每秒交付 token 数"的用户侧指标,短输出无法靠牺牲首 token 延迟刷分;
  • North Star 帕累托策略:只有落在正规范例前沿上的点才会出现在图表里,被支配的点留作诊断,杜绝"只报最好看的一个点"。

规则细节见 inferencex-e2e/docs/MODELS.md。

实战案例:DeepSeek、GLM、Kimi 的 Day 0 性能曲线是怎么画出来的?

官方新闻列表(README.md)本身就是一份 Day 0 追踪实录:

模型 上线追踪时间 持续追踪内容
🔥 DeepSeek V4 Pro 1.6T 2026-04 自 Day 0 持续基准测试
🔥 Qwen3.5 397B 2026-03 自 Day 0 持续基准测试
🔥 MiniMax M3 2026-06 自 Day 0 持续基准测试
🔥 Kimi K3 2.8T 2026-07 自 Day 0 持续基准测试
🔥 GLM5.3 2026-08 持续 agentic 基准
🚀 DeepSeek V4.1 Flash 2026-09 新增 AgentX 基准

以 DeepSeek V4 Pro 为例:模型发布当天(Day 0)基准就上线,此后的每一次 SGLang/vLLM 镜像更新、每一个投机解码调优,都会沿着时间轴追加新的数据点,最终形成一条从 Day 0 一路延伸到 Day 43 及以后的性能曲线。完整的支持矩阵——每个模型何时加入、当前活跃哪些场景、哪些场景已退役——都记录在 inferencex-e2e/docs/MODELS.md。

对比一下:静态基准给你的是发布当天的一个点;InferenceX 给你的是模型发布后整条演进曲线,以及曲线背后每一次提升的具体原因。

普通用户如何使用 InferenceX?

  • 📊 看结果:访问公开仪表盘 inferencex.com,按模型/硬件/框架筛选实时性能与帕累托前沿;
  • 📖 读懂数据:从 inferencex-e2e/docs/index.md 的任务路由表入手,按场景读对应文档;
  • 🧪 测自己的服务:无需 CI 或 Slurm,按 agentx-standalone.md 安装客户端,对已有服务直接回放基准;
  • 🤝 参与贡献:欢迎提交 PR(流程见 CONTRIBUTING.md)——更新一个框架版本、补一条变更记录,你的优化就会出现在全社区的曲线上。

小结:从"快照"到"曲线"

一句话总结 InferenceX 的三个秘密:📝 用只追加的变更日志记录"为什么变",⚙️ 用自动化管线保证"变了就测",🎯 用真实 Agent 负载和帕累托前沿保证"测得诚实"。

当软件生态以天为单位演进,性能就不该是一个静态数字,而应是一条持续生长、全程可追溯的曲线。这,就是静态基准测试过时的原因。

登录后查看全文
InferenceX