如何看懂AISBench评测结果:outputs目录结构、summary分数表与日志落盘机制完全解析

原创2026-10-27 16:55:592,176 阅读

如何看懂AISBench评测结果:outputs目录结构、summary分数表与日志落盘机制完全解析

跑完一次 AISBench 评测后,面对 outputs 目录里的一大堆文件,新手常常不知道从哪看起。本文带你 5 分钟看懂 AISBench 评测结果:先理清 outputs 目录的完整结构,再学会读懂 summary 分数表,最后掌握日志落盘机制与性能结果文件,让你快速定位任何一次实验的分数、原始预测和运行日志。

outputs 目录结构全景图

AISBench 每次执行都会在 outputs/<work_dir>/<时间戳> 下生成一个独立的实验目录(默认 outputs/default),时间戳目录保证了多次实验互不覆盖。初始化逻辑见 config_manager.py:

20260305_153318/
├── configs/       # 本次运行生效的完整配置文件(带进程号后缀)
├── logs/          # 任务执行日志(infer/ 推理日志,eval/ 评测日志)
├── predictions/   # 各模型的原始推理结果(jsonl)
├── results/       # 精度评测计算出的原始分数(json)
└── summary/       # 汇总分数表(.txt / .csv / .md 三种格式)

各目录的作用一句话概括:

目录 落盘内容 什么时候看它
configs/ 合成后的最终配置 .py 复现实验时确认参数
logs/ 每个任务的 .out 日志 排查报错、查看进度
predictions/ <模型缩写>/<数据集>.jsonl 推理原文 人工抽查模型答得对不对
results/ <模型缩写>/<数据集>.json 原始分数 核对单项数据集得分
summary/ 汇总分数表 直接看最终成绩
performances/ 性能评测结果(仅性能场景) 看吞吐、时延等指标

文件路径由模型缩写与数据集缩写拼接而成,生成规则在 abbr.py 中实现。

summary 分数表:最终成绩看这里

summary/summary_<时间戳>.txt 同时包含 tabulate 表格、CSV、Markdown 和 raw 四种格式,另有独立的 .csv 与 .md 文件可直接导入 Excel 或嵌入报告。生成逻辑见 default.py。

表格结构非常固定:

| dataset | version | metric | mode | <模型A> | <模型B> |
| MMLU    | 3a1f2c  | acc    | ll   | 71.25 (285/400) | 68.30 (233/341) |
| MMLU    | -       | avg@n  | -    | 69.80          | 67.12      |
  • dataset:数据集缩写(abbr);
  • version:提示词模板哈希的前 6 位,提示词改动后分数不可直接对比时可用它识别版本;
  • metric:指标名,如 acc、pass@1、F1;
  • mode:评测方式(gen 生成式 / ll 对数似然 / ppl);
  • 括号内 (正确数/总数):如 (285/400),一眼看出样本量。

配置中的 summary_groups 会把多个子集聚合成一行总分行(例如 MMLU 各子学科聚合),支持简单平均、加权平均、和、标准差、调和平均等,计算实现见 default.py。

💡 多次重复推理场景下会出现 pass@k、cons@k、avg@n 三个指标,它们的定义与差异请参考官方文档 accuracy_metric.md。

从 predictions 到 results:分数是怎么来的

一条数据的完整链路是:推理 → predictions → 评测 → results → 汇总 → summary。

  • predictions/<模型缩写>/<数据集>.jsonl:每行一条预测记录,包含原始输入、模型输出与参考标签,是人工复核的第一现场;
  • results/<模型缩写>/<数据集>.json:评测器对该数据集打分后的原始结果,summary 表即由它汇总而来;
  • 多任务并行时结果以文件锁方式追加写入,避免并发覆盖,工具函数见 results.py。

如果 summary 中某行显示 - 或 error,直接去 results/ 里对应 json 看 error 字段即可定位原因。

日志落盘机制:logs 目录怎么看

运行中的实时看板会显示每个任务的 Log Path,它与 Base path 拼起来就是日志的实际位置:

# 被测模型推理日志
outputs/default/20260305_153318/logs/infer/vllm-api-general-chat/aime2025.out
# 裁判模型推理日志
outputs/default/20260305_153318/logs/infer/vllm-api-general-chat/aime2025-judge.out
# 评测过程日志
outputs/default/20260305_153318/logs/eval/vllm-api-general-chat/aime2025-judge.out

日志机制的几个关键点:

  1. 按任务分文件:logs/infer/ 存推理阶段,logs/eval/ 存评测阶段,文件名以"模型缩写/数据集缩写"区分;
  2. 边跑边写:日志持续落盘,任务中断也能保留已执行部分的现场;
  3. --debug 模式不落盘:加上 --debug 后详细日志直接打印到终端,logs/ 下不会有过程日志;
  4. 格式统一:[时间] [ais_bench] [级别] 消息,DEBUG 级别额外附带 文件:行号,定位代码更快。

日志类实现位于 logger.py,详细示例可参考 judge_model_evaluate.md。

性能评测结果:performances 目录

性能场景的结果落在 performances/<模型缩写>/ 下,每种指标都有对应文件:

performances/vllm-api-chat-stream/
├── textvqadataset.csv              # 单次请求性能(与打屏表格一致)
├── textvqadataset.json             # 端到端性能汇总
├── textvqadataset_details.json     # 完整打点明细
├── textvqadataset_details.h5       # ITL 时延打点数据
└── textvqadataset_plot.html        # 请求并发可视化报告

Performance Parameters 表格的典型样式如下:

AISBench性能评测结果表格示例:E2EL、TTFT、TPOT、吞吐等指标

_plot.html 是交互式报告,用 Chrome 或 Edge 打开后,可以看到每个请求的时延曲线和客户端感知的实时并发数:

AISBench性能测试结果可视化并发报告:请求时延与并发数曲线

性能指标各字段的含义可查阅官方文档 performance_metric.md,可视化报告操作说明见 performance_visualization.md。

快速排错清单

  • summary 里某个数据集是 - → 检查 results/ 是否有对应 json,没有则说明评测未跑成,看 logs/ 报错;
  • 分数与历史不一致 → 对比 summary 表的 version 列(提示词哈希),版本不同则分数不可比;
  • 想复现某次实验 → 用 --reuse <时间戳> 或 --reuse latest 直接复用该目录的推理结果重新评测;
  • 推理结果想人工抽查 → 直接打开 predictions/ 下的 jsonl,逐行核对 input、prediction、label。

延伸阅读

掌握 outputs 目录结构、summary 分数表和日志落盘这三块,你就能独立完成从"跑分"到"排错"的全部工作。

登录后查看全文
benchmark