如何快速上手AISBench:支持80+数据集的大模型评测工具完整入门教程(精度+性能+Agent一站式)
如何快速上手AISBench:支持80+数据集的大模型评测工具完整入门教程(精度+性能+Agent一站式)
AISBench 是一款基于 OpenCompass 构建的开源大模型评测工具,内置 80+ 主流数据集,支持服务化与本地模型,一条 ais_bench 命令即可一站式完成精度测评、性能压测、Agent 评测三大任务。本教程面向新手,带你从环境安装到跑通第一次评测,10 分钟即可上手。
一、AISBench 能做什么?三大评测场景一图看懂
AISBench 面向"模型选得准不准、服务跑得够不够快、Agent 会不会干活"三类核心问题,覆盖了大模型落地前的完整验证链路:
| 评测场景 | 核心能力 | 适用需求 |
|---|---|---|
| 🔍 精度测评 | 在 MMLU、GSM8K、HumanEval 等 80+ 数据集上验证模型预测准确率,支持生成式与 PPL 两种模式 | 模型选型、版本回归 |
| 🚀 性能测评 | 压测推理服务的 TTFT、TPOT、吞吐率等指标,支持稳态测试与真实业务流量模拟 | 部署调优、容量规划 |
| 🤖 Agent 测评 | 基于 Harbor 框架评测 SWE-Bench、Terminal-Bench 等智能体任务,支持 claude-code、codex 等主流 Agent | 智能体能力验收 |
它最大的特点是插件化架构:模型后端、数据集、执行器、评测器都可以像"装插件"一样扩展,你只需在配置里"点菜",组合出想要的评测任务。
二、安装步骤:三步完成环境搭建
1️⃣ 环境要求
- Python 版本:仅支持 3.10 / 3.11 / 3.12(不支持 3.9 及以下、3.13 及以上)
- 推荐使用 Conda 管理环境,避免依赖冲突
2️⃣ 创建环境并安装
conda create --name ais_bench python=3.10 -y
conda activate ais_bench
git clone https://gitcode.com/gh_mirrors/benchmark48/benchmark
cd benchmark/
pip3 install -e ./ --use-pep517
执行 ais_bench -h 能打印出帮助信息,即安装成功。嫌麻烦也可以一键安装:
pip3 install ais_bench_benchmark # 基础功能
pip3 install ais_bench_benchmark[full] # 全量功能
3️⃣ 按需安装可选依赖
| 需求 | 安装命令 |
|---|---|
| 评测 vLLM 等服务化模型 | pip3 install -r requirements/api.txt 并安装 requirements/extra.txt |
| HuggingFace 多模态离线推理 | pip3 install -r requirements/hf_vl_dependency.txt |
| Agent 测评(Harbor) | pip3 install -r requirements/agent.txt |
完整的安装与卸载说明见 安装指南。
三、精度测评:5分钟跑通第一个评测任务
前置准备
- 启动一个支持
v1/chat/completions接口的推理服务(如 vLLM 的 OpenAI 兼容服务); - 下载 gsm8k 数据集,将解压后的
gsm8k/文件夹放到ais_bench/datasets/目录下。
方式一:自定义配置文件(⭐ 推荐)
AISBench 预置了配置模板 model_api_test_zh_cn.py,把模型服务地址、端口、生成参数等集中在一个 Python 文件里,一次编写、多次复用。只需修改 host_ip、host_port、max_out_len 等字段,然后执行:
ais_bench ais_bench/configs/model_api_test_zh_cn.py
方式二:命令行参数(最快)
ais_bench --models vllm_api_general_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt
其中 --models 指定模型任务、--datasets 指定数据集任务。不确定配置写在哪?加个 --search 即可打印出各任务对应的配置文件路径,直接修改即可。
查看执行过程与结果
命令执行后,命令行会出现实时刷新的任务看板,展示每个任务的进度、耗时、状态与日志路径(按 P 键可暂停刷新方便复制信息)。任务结束后输出类似:
dataset version metric mode vllm_api_general_chat
----------------------- -------- -------- ----- ----------------------
demo_gsm8k 401e4c accuracy gen 62.50
结果与日志统一落盘在 outputs/default/{时间戳}/ 目录,包含 predictions(原始输出)、results(计算得分)、summary(csv/md/txt 三种格式的汇总表),方便留档和横向对比。更多细节见 快速入门。
四、性能测评:一条命令压测推理服务
性能测评只需在命令后追加 --mode perf,AISBench 会精确记录每条请求的发送时间与流式返回时间,输出 TTFT(首 Token 时延)、TPOT、E2EL、ITL、Token 吞吐率、并发数等完整指标,并与 vLLM Benchmark 对齐,支持 3 万+ 高并发压测:
ais_bench --models vllm_api_stream_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt --mode perf
进阶技巧:稳态性能测试
常规压测混入了流量爬坡和退出阶段的干扰,而稳态测试(--summarizer stable_stage)只统计并发拉满后的稳定区间数据,更能反映服务真实最佳性能:
进阶技巧:模拟真实业务流量
线上流量并非匀速,AISBench 支持按 Gamma 分布等模式控制请求速率波动(RPS 分布),并输出交互式分布图,帮助你在贴近真实业务的情况下评估服务表现:
性能指标的完整释义可参考 性能测评指南 与 稳态测试教程,还可以开启 --spec-decode 采集投机推理采纳率等专项指标。
五、Agent 测评:一条命令评测智能体能力
大模型不再只是"答题",更能"干活"。AISBench 原生集成 Harbor 框架,通过 --mode agent 一条命令即可拉起 Agent 评测:
ais_bench ais_bench/configs/agent_example/harbor_agent_task.py --mode agent \
-a terminus-2 \
--api-base http://127.0.0.1:8000/v1 \
--agent-api-key sk-xxx
- 内置主流 Agent:claude-code、codex、terminus-2、mini-swe-agent、openhands 等 30+ 个,也支持自定义 Agent;
- 主流数据集:SWE-Bench(含 mini 子集)、Terminal-Bench 2.0、DeepSWE 等,均提供离线数据集与镜像打包资源,内网环境也能一键部署;
- 实时监控:内置 HTTP 监控服务可实时查看每个 case 的执行状态,并输出单表 + CSV 汇总。
不同 Agent 传参方式各异(环境变量 / 构造函数参数),AISBench 的 AgentParamAdapter 会自动统一适配,你只需要用 --api-base / --agent-api-key 一套参数即可。详细说明见 Agent 测评指南。
六、80+ 数据集速查:你的模型该测哪些?
AISBench 内置数据集按能力维度覆盖 LLM、多模态、多轮对话与 Agent 四大类,每个数据集还提供多种"评测方式 × shot 数 × CoT"的配置任务。常见选型参考:
| 能力方向 | 代表数据集 |
|---|---|
| 综合知识/理解 | MMLU、MMLU-Pro、C-Eval、CMMLU、AGIEval、BBH |
| 数学推理 | GSM8K、MATH、AIME2024~2026、DAPO-Math |
| 代码生成 | HumanEval、HumanEvalX、MBPP、LiveCodeBench |
| 长上下文 | LongBench、NeedleBench、MRCR(1M token)、corpusQA(1M) |
| 函数调用 | BFCL(Berkeley Function Calling Leaderboard) |
| 多模态 | MMMU、MME、TextVQA、DocVQA、Video-MME、VideoBench、VocalSound |
| 中文 NLP | FewCLUE 系列、LCSTS、XSum |
| Agent | SWE-Bench、SWE-Bench Pro、Terminal-Bench、τ²-Bench |
每个数据集目录下都有独立的 README,说明数据部署方式与可用任务,例如 demo 数据集示例。完整清单与获取方式见 数据集准备指南,多任务批量配置可参考 accuracy_benchmark 示例 和 performance_benchmark 示例。
七、常见问题速答
Q:精度评测中断了,可以续测吗? A:支持。精度评测内置断点续测与失败用例重测能力,中断后无需从头再跑。
Q:不想改配置文件,能临时覆盖服务地址吗?
A:可以。--host-ip、--host-port、model、url、max_out_len、generation_kwargs 等参数都支持命令行覆盖,只对 attr="service" 的服务化模型生效。
Q:本地模型(非服务化)也能测吗?
A:可以。使用 attr="local" 的本地模型后端(如 HuggingFace 基座/对话模型、vLLM 离线推理)即可执行纯模型精度测评,配置示例见 accuracy_benchmark_local。
Q:想给模型"挑刺",检测重复、乱码等生成异常?
A:执行时加上 --response-anomaly 参数即可零配置开启,结果按数据集落盘为 JSONL,不影响原有精度与性能指标。
八、总结
| 目标 | 关键命令/入口 |
|---|---|
| 安装工具 | pip3 install -e ./ --use-pep517 或 pip3 install ais_bench_benchmark |
| 精度测评 | ais_bench <自定义配置.py> 或 --models + --datasets |
| 性能压测 | 在上述命令后加 --mode perf |
| Agent 评测 | --mode agent -a <agent名> |
| 结果位置 | outputs/default/{时间戳}/(predictions / results / summary) |
AISBench 把"精度 + 性能 + Agent"三类评测收进同一个 CLI,配合 80+ 开箱即用的数据集与插件化扩展机制,是大模型从研发到上线过程中非常实用的一站式评测工具。建议先用 demo 任务跑通全流程,再按需替换模型与数据集,逐步解锁稳态压测、流量模拟、异常检测等进阶能力!



