如何快速上手AISBench:支持80+数据集的大模型评测工具完整入门教程(精度+性能+Agent一站式)

原创2026-10-27 16:46:001,891 阅读

如何快速上手AISBench:支持80+数据集的大模型评测工具完整入门教程(精度+性能+Agent一站式)

AISBench 是一款基于 OpenCompass 构建的开源大模型评测工具,内置 80+ 主流数据集,支持服务化与本地模型,一条 ais_bench 命令即可一站式完成精度测评、性能压测、Agent 评测三大任务。本教程面向新手,带你从环境安装到跑通第一次评测,10 分钟即可上手。

一、AISBench 能做什么?三大评测场景一图看懂

AISBench 面向"模型选得准不准、服务跑得够不够快、Agent 会不会干活"三类核心问题,覆盖了大模型落地前的完整验证链路:

评测场景 核心能力 适用需求
🔍 精度测评 在 MMLU、GSM8K、HumanEval 等 80+ 数据集上验证模型预测准确率,支持生成式与 PPL 两种模式 模型选型、版本回归
🚀 性能测评 压测推理服务的 TTFT、TPOT、吞吐率等指标,支持稳态测试与真实业务流量模拟 部署调优、容量规划
🤖 Agent 测评 基于 Harbor 框架评测 SWE-Bench、Terminal-Bench 等智能体任务,支持 claude-code、codex 等主流 Agent 智能体能力验收

AISBench插件化架构:模型、客户端、数据集、Runner五大组件通过注册中心扩展

它最大的特点是插件化架构:模型后端、数据集、执行器、评测器都可以像"装插件"一样扩展,你只需在配置里"点菜",组合出想要的评测任务。

二、安装步骤:三步完成环境搭建

1️⃣ 环境要求

  • Python 版本:仅支持 3.10 / 3.11 / 3.12(不支持 3.9 及以下、3.13 及以上)
  • 推荐使用 Conda 管理环境,避免依赖冲突

2️⃣ 创建环境并安装

conda create --name ais_bench python=3.10 -y
conda activate ais_bench

git clone https://gitcode.com/gh_mirrors/benchmark48/benchmark
cd benchmark/
pip3 install -e ./ --use-pep517

执行 ais_bench -h 能打印出帮助信息,即安装成功。嫌麻烦也可以一键安装:

pip3 install ais_bench_benchmark        # 基础功能
pip3 install ais_bench_benchmark[full]  # 全量功能

3️⃣ 按需安装可选依赖

需求 安装命令
评测 vLLM 等服务化模型 pip3 install -r requirements/api.txt 并安装 requirements/extra.txt
HuggingFace 多模态离线推理 pip3 install -r requirements/hf_vl_dependency.txt
Agent 测评(Harbor) pip3 install -r requirements/agent.txt

完整的安装与卸载说明见 安装指南。

三、精度测评:5分钟跑通第一个评测任务

前置准备

  1. 启动一个支持 v1/chat/completions 接口的推理服务(如 vLLM 的 OpenAI 兼容服务);
  2. 下载 gsm8k 数据集,将解压后的 gsm8k/ 文件夹放到 ais_bench/datasets/ 目录下。

方式一:自定义配置文件(⭐ 推荐)

AISBench 预置了配置模板 model_api_test_zh_cn.py,把模型服务地址、端口、生成参数等集中在一个 Python 文件里,一次编写、多次复用。只需修改 host_ip、host_port、max_out_len 等字段,然后执行:

ais_bench ais_bench/configs/model_api_test_zh_cn.py

方式二:命令行参数(最快)

ais_bench --models vllm_api_general_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt

其中 --models 指定模型任务、--datasets 指定数据集任务。不确定配置写在哪?加个 --search 即可打印出各任务对应的配置文件路径,直接修改即可。

查看执行过程与结果

命令执行后,命令行会出现实时刷新的任务看板,展示每个任务的进度、耗时、状态与日志路径(按 P 键可暂停刷新方便复制信息)。任务结束后输出类似:

dataset                 version  metric   mode  vllm_api_general_chat
----------------------- -------- -------- ----- ----------------------
demo_gsm8k              401e4c   accuracy gen                   62.50

结果与日志统一落盘在 outputs/default/{时间戳}/ 目录,包含 predictions(原始输出)、results(计算得分)、summary(csv/md/txt 三种格式的汇总表),方便留档和横向对比。更多细节见 快速入门。

四、性能测评:一条命令压测推理服务

性能测评只需在命令后追加 --mode perf,AISBench 会精确记录每条请求的发送时间与流式返回时间,输出 TTFT(首 Token 时延)、TPOT、E2EL、ITL、Token 吞吐率、并发数等完整指标,并与 vLLM Benchmark 对齐,支持 3 万+ 高并发压测:

ais_bench --models vllm_api_stream_chat --datasets demo_gsm8k_gen_4_shot_cot_chat_prompt --mode perf

进阶技巧:稳态性能测试

常规压测混入了流量爬坡和退出阶段的干扰,而稳态测试(--summarizer stable_stage)只统计并发拉满后的稳定区间数据,更能反映服务真实最佳性能:

AISBench稳态性能测试原理:流量爬坡、实际稳态与流量退出三阶段并发曲线

进阶技巧:模拟真实业务流量

线上流量并非匀速,AISBench 支持按 Gamma 分布等模式控制请求速率波动(RPS 分布),并输出交互式分布图,帮助你在贴近真实业务的情况下评估服务表现:

AISBench模拟真实业务流量:RPS请求速率分布与Gamma分布直方图

AISBench多客户端压测调度原理:多个客户端连接按序发送请求

性能指标的完整释义可参考 性能测评指南 与 稳态测试教程,还可以开启 --spec-decode 采集投机推理采纳率等专项指标。

五、Agent 测评:一条命令评测智能体能力

大模型不再只是"答题",更能"干活"。AISBench 原生集成 Harbor 框架,通过 --mode agent 一条命令即可拉起 Agent 评测:

ais_bench ais_bench/configs/agent_example/harbor_agent_task.py --mode agent \
    -a terminus-2 \
    --api-base http://127.0.0.1:8000/v1 \
    --agent-api-key sk-xxx
  • 内置主流 Agent:claude-code、codex、terminus-2、mini-swe-agent、openhands 等 30+ 个,也支持自定义 Agent;
  • 主流数据集:SWE-Bench(含 mini 子集)、Terminal-Bench 2.0、DeepSWE 等,均提供离线数据集与镜像打包资源,内网环境也能一键部署;
  • 实时监控:内置 HTTP 监控服务可实时查看每个 case 的执行状态,并输出单表 + CSV 汇总。

不同 Agent 传参方式各异(环境变量 / 构造函数参数),AISBench 的 AgentParamAdapter 会自动统一适配,你只需要用 --api-base / --agent-api-key 一套参数即可。详细说明见 Agent 测评指南。

六、80+ 数据集速查:你的模型该测哪些?

AISBench 内置数据集按能力维度覆盖 LLM、多模态、多轮对话与 Agent 四大类,每个数据集还提供多种"评测方式 × shot 数 × CoT"的配置任务。常见选型参考:

能力方向 代表数据集
综合知识/理解 MMLU、MMLU-Pro、C-Eval、CMMLU、AGIEval、BBH
数学推理 GSM8K、MATH、AIME2024~2026、DAPO-Math
代码生成 HumanEval、HumanEvalX、MBPP、LiveCodeBench
长上下文 LongBench、NeedleBench、MRCR(1M token)、corpusQA(1M)
函数调用 BFCL(Berkeley Function Calling Leaderboard)
多模态 MMMU、MME、TextVQA、DocVQA、Video-MME、VideoBench、VocalSound
中文 NLP FewCLUE 系列、LCSTS、XSum
Agent SWE-Bench、SWE-Bench Pro、Terminal-Bench、τ²-Bench

每个数据集目录下都有独立的 README,说明数据部署方式与可用任务,例如 demo 数据集示例。完整清单与获取方式见 数据集准备指南,多任务批量配置可参考 accuracy_benchmark 示例 和 performance_benchmark 示例。

七、常见问题速答

Q:精度评测中断了,可以续测吗? A:支持。精度评测内置断点续测与失败用例重测能力,中断后无需从头再跑。

Q:不想改配置文件,能临时覆盖服务地址吗? A:可以。--host-ip、--host-port、model、url、max_out_len、generation_kwargs 等参数都支持命令行覆盖,只对 attr="service" 的服务化模型生效。

Q:本地模型(非服务化)也能测吗? A:可以。使用 attr="local" 的本地模型后端(如 HuggingFace 基座/对话模型、vLLM 离线推理)即可执行纯模型精度测评,配置示例见 accuracy_benchmark_local。

Q:想给模型"挑刺",检测重复、乱码等生成异常? A:执行时加上 --response-anomaly 参数即可零配置开启,结果按数据集落盘为 JSONL,不影响原有精度与性能指标。

八、总结

目标 关键命令/入口
安装工具 pip3 install -e ./ --use-pep517 或 pip3 install ais_bench_benchmark
精度测评 ais_bench <自定义配置.py> 或 --models + --datasets
性能压测 在上述命令后加 --mode perf
Agent 评测 --mode agent -a <agent名>
结果位置 outputs/default/{时间戳}/(predictions / results / summary)

AISBench 把"精度 + 性能 + Agent"三类评测收进同一个 CLI,配合 80+ 开箱即用的数据集与插件化扩展机制,是大模型从研发到上线过程中非常实用的一站式评测工具。建议先用 demo 任务跑通全流程,再按需替换模型与数据集,逐步解锁稳态压测、流量模拟、异常检测等进阶能力!

登录后查看全文
benchmark