如何看懂AISBench评测结果:outputs目录结构、summary分数表与日志落盘机制完全解析
如何看懂AISBench评测结果:outputs目录结构、summary分数表与日志落盘机制完全解析
跑完一次 AISBench 评测后,面对 outputs 目录里的一大堆文件,新手常常不知道从哪看起。本文带你 5 分钟看懂 AISBench 评测结果:先理清 outputs 目录的完整结构,再学会读懂 summary 分数表,最后掌握日志落盘机制与性能结果文件,让你快速定位任何一次实验的分数、原始预测和运行日志。
outputs 目录结构全景图
AISBench 每次执行都会在 outputs/<work_dir>/<时间戳> 下生成一个独立的实验目录(默认 outputs/default),时间戳目录保证了多次实验互不覆盖。初始化逻辑见 config_manager.py:
20260305_153318/
├── configs/ # 本次运行生效的完整配置文件(带进程号后缀)
├── logs/ # 任务执行日志(infer/ 推理日志,eval/ 评测日志)
├── predictions/ # 各模型的原始推理结果(jsonl)
├── results/ # 精度评测计算出的原始分数(json)
└── summary/ # 汇总分数表(.txt / .csv / .md 三种格式)
各目录的作用一句话概括:
| 目录 | 落盘内容 | 什么时候看它 |
|---|---|---|
configs/ |
合成后的最终配置 .py |
复现实验时确认参数 |
logs/ |
每个任务的 .out 日志 |
排查报错、查看进度 |
predictions/ |
<模型缩写>/<数据集>.jsonl 推理原文 |
人工抽查模型答得对不对 |
results/ |
<模型缩写>/<数据集>.json 原始分数 |
核对单项数据集得分 |
summary/ |
汇总分数表 | 直接看最终成绩 |
performances/ |
性能评测结果(仅性能场景) | 看吞吐、时延等指标 |
文件路径由模型缩写与数据集缩写拼接而成,生成规则在 abbr.py 中实现。
summary 分数表:最终成绩看这里
summary/summary_<时间戳>.txt 同时包含 tabulate 表格、CSV、Markdown 和 raw 四种格式,另有独立的 .csv 与 .md 文件可直接导入 Excel 或嵌入报告。生成逻辑见 default.py。
表格结构非常固定:
| dataset | version | metric | mode | <模型A> | <模型B> |
| MMLU | 3a1f2c | acc | ll | 71.25 (285/400) | 68.30 (233/341) |
| MMLU | - | avg@n | - | 69.80 | 67.12 |
- dataset:数据集缩写(
abbr); - version:提示词模板哈希的前 6 位,提示词改动后分数不可直接对比时可用它识别版本;
- metric:指标名,如
acc、pass@1、F1; - mode:评测方式(
gen生成式 /ll对数似然 /ppl); - 括号内
(正确数/总数):如(285/400),一眼看出样本量。
配置中的 summary_groups 会把多个子集聚合成一行总分行(例如 MMLU 各子学科聚合),支持简单平均、加权平均、和、标准差、调和平均等,计算实现见 default.py。
💡 多次重复推理场景下会出现
pass@k、cons@k、avg@n三个指标,它们的定义与差异请参考官方文档 accuracy_metric.md。
从 predictions 到 results:分数是怎么来的
一条数据的完整链路是:推理 → predictions → 评测 → results → 汇总 → summary。
predictions/<模型缩写>/<数据集>.jsonl:每行一条预测记录,包含原始输入、模型输出与参考标签,是人工复核的第一现场;results/<模型缩写>/<数据集>.json:评测器对该数据集打分后的原始结果,summary表即由它汇总而来;- 多任务并行时结果以文件锁方式追加写入,避免并发覆盖,工具函数见 results.py。
如果 summary 中某行显示 - 或 error,直接去 results/ 里对应 json 看 error 字段即可定位原因。
日志落盘机制:logs 目录怎么看
运行中的实时看板会显示每个任务的 Log Path,它与 Base path 拼起来就是日志的实际位置:
# 被测模型推理日志
outputs/default/20260305_153318/logs/infer/vllm-api-general-chat/aime2025.out
# 裁判模型推理日志
outputs/default/20260305_153318/logs/infer/vllm-api-general-chat/aime2025-judge.out
# 评测过程日志
outputs/default/20260305_153318/logs/eval/vllm-api-general-chat/aime2025-judge.out
日志机制的几个关键点:
- 按任务分文件:
logs/infer/存推理阶段,logs/eval/存评测阶段,文件名以"模型缩写/数据集缩写"区分; - 边跑边写:日志持续落盘,任务中断也能保留已执行部分的现场;
--debug模式不落盘:加上--debug后详细日志直接打印到终端,logs/下不会有过程日志;- 格式统一:
[时间] [ais_bench] [级别] 消息,DEBUG 级别额外附带文件:行号,定位代码更快。
日志类实现位于 logger.py,详细示例可参考 judge_model_evaluate.md。
性能评测结果:performances 目录
性能场景的结果落在 performances/<模型缩写>/ 下,每种指标都有对应文件:
performances/vllm-api-chat-stream/
├── textvqadataset.csv # 单次请求性能(与打屏表格一致)
├── textvqadataset.json # 端到端性能汇总
├── textvqadataset_details.json # 完整打点明细
├── textvqadataset_details.h5 # ITL 时延打点数据
└── textvqadataset_plot.html # 请求并发可视化报告
Performance Parameters 表格的典型样式如下:
_plot.html 是交互式报告,用 Chrome 或 Edge 打开后,可以看到每个请求的时延曲线和客户端感知的实时并发数:
性能指标各字段的含义可查阅官方文档 performance_metric.md,可视化报告操作说明见 performance_visualization.md。
快速排错清单
- summary 里某个数据集是
-→ 检查results/是否有对应 json,没有则说明评测未跑成,看logs/报错; - 分数与历史不一致 → 对比 summary 表的
version列(提示词哈希),版本不同则分数不可比; - 想复现某次实验 → 用
--reuse <时间戳>或--reuse latest直接复用该目录的推理结果重新评测; - 推理结果想人工抽查 → 直接打开
predictions/下的 jsonl,逐行核对input、prediction、label。
延伸阅读
- 评测结果总览:docs/source_zh_cn/base_tutorials/results_intro/
- 精度指标(pass@k / cons@k / avg@n):accuracy_metric.md
- 性能指标说明:performance_metric.md
- 裁判模型评测与日志路径示例:judge_model_evaluate.md
- 多模态评测场景结果示例:multimodal_benchmark.md
掌握 outputs 目录结构、summary 分数表和日志落盘这三块,你就能独立完成从"跑分"到"排错"的全部工作。

