ClawProBench 数据集使用指南:HuggingFace 开源数据集与闭源榜单数据完全入门
ClawProBench 数据集使用指南:HuggingFace 开源数据集与闭源榜单数据完全入门
ClawProBench 是一个面向 OpenClaw 真实运行时的 live-first 大模型 Agent 评测框架,它的 ClawProBench 数据集已在 HuggingFace 以 xyh110sym/clawprobench 的形式完整开源,包含 102 个活跃任务的全部 prompts、fixtures 与场景配置,适合新手直接下载学习;项目同时维护一套闭源榜单数据,用于防止厂商针对公开题目做定向刷分。本文带你从零理解这套数据集的组织方式、开源与闭源榜单的区别,并 5 分钟跑通第一次评测。
一、ClawProBench 是什么:为什么需要"真运行时"数据集
市面上很多 Agent 基准用静态题目 + 离线判分,但模型在真实运行环境里会不会调对工具、能不能多轮稳定复现,往往差别很大。ClawProBench 的核心特点:
- live-first 执行:所有任务在本地 OpenClaw 运行时中真实执行,而非模拟回放
- 确定性评分:每个场景配有专用 checker(见 custom_checks/),同一份结果多次打分一致
- 重复试验可靠性:默认每个模型跑 3 轮(
--trials 3),用pass^3、pass@3等指标衡量稳定性 - 规模:102 个活跃场景,目录共 164 个(含 62 个孵化中场景),覆盖 6 大能力域
任务按能力域组织在 scenarios/ 下,包括 tool_use(工具使用)、planning(规划)、safety(安全)、constraints(约束遵循)、error_recovery(错误恢复)、synthesis(综合推理)以及 oib5(导入的遗留任务集)。
二、HuggingFace 开源数据集:你能拿到什么
自 v2.0.4 起,全部 102 个活跃场景数据集已在 HuggingFace 发布,仓库名 xyh110sym/clawprobench,Hugging Face 搜索框直接搜项目名即可。数据集与代码仓库结构一一对应,主要包含三类资产:
| 资产 | 仓库位置 | 作用 |
|---|---|---|
| 场景定义(prompts + 配置) | scenarios/,YAML 格式 | 每个任务的提示词、难度、通过阈值、标签 |
| 题目素材(fixtures) | datasets/,按 任务id/fixtures 分目录 |
任务启动时预置进工作区的输入文件 |
| 评分逻辑(checker) | custom_checks/,Python 脚本 | 对模型产出做确定性判分 |
一个典型场景长什么样?以约束题 13_exact_extract_no_inference_live.yaml 为例,YAML 中定义了 prompt(任务指令)、pass_threshold: 0.7(通过线)、workspace_seed_dir(素材注入路径)和 custom_check(对应哪个判分脚本)。新手建议挑几份 YAML 读一读,就能理解"题目—素材—判分"三件套是如何咬合的。
数据集配套的工程件
- config/pricing.yaml:各模型 token 单价,用于报告中输出评测成本
- config/openclaw.json.template:本地 OpenClaw 运行时配置模板(网关地址、模型、超时、工作区根目录)
- docs/quality/benchmark-profiles.md:场景元数据规范(
benchmark_core、benchmark_status、signal_source等字段含义)
三、闭源榜单数据:为什么要有"第二套题"
完全开源的题目有一个绕不开的问题:模型厂商看到榜单后,可能针对公开题目做定向优化(overfit benchmark)。为此项目维护了双轨制:
- 开源数据集榜单:基于 HuggingFace 公开数据集,任何模型都可复现,是日常排名的主通道
- 闭源数据集榜单:题目不公开,防止刷分。自
v2.0.0起已发布 33 个模型的闭源结果,支持模型详情页、可视化图表和任务浏览 - LLMLeadBoard:同家族的报告聚合榜,收录 63 个模型、55 份公开模型报告、444 个 benchmark 分数,支持按模型横向对比与其他榜单家族的分数参照
两榜对照着看,能更客观地判断一个模型的"真实水位"与"应试水位"。
四、读懂核心指标:FinalScore 是怎么算的
榜单默认以 pass^3 作为排名信号,完整指标由 README.zh-CN.md 定义:
pass^3:3 轮全部通过的比例,衡量稳定复现能力(权重最高)pass@3:3 轮中至少 1 轮通过的比例,衡量能力上限average_score:平均得分,衡量整体质量- 综合公式:
FinalScore = 100 × S^0.40 × r_all^0.45 × r_any^0.15(S 为平均得分,r_all/r_any 由 pass^3 与 pass@3 换算)
设计意图很明确:稳定的重复成功比偶尔的高分更重要,这正是"repeated-trial reliability"这一卖点的落地方式。
五、快速上手:克隆仓库并跑通开源数据集
1️⃣ 获取仓库
git clone https://gitcode.com/gh_mirrors/cl/ClawProBench
cd ClawProBench
2️⃣ 搭建 Python 环境
pip install uv
uv venv --python 3.11
source .venv/bin/activate
uv pip install -r requirements.txt
3️⃣ 检查 OpenClaw 运行时
openclaw --help
openclaw agents list --json
4️⃣ 查看数据集目录(不实际执行)
python3 run.py inventory # 人类可读的场景清单
python3 run.py dry # 校验场景集合可加载
5️⃣ 选择 benchmark profile 并试跑
| Profile | 场景数 | 用途 |
|---|---|---|
core |
26 | 默认排名套件(推荐新手从这里开始) |
intelligence |
95 | 扩展活跃能力套件 |
native |
36 | 仅 OpenClaw 原生能力切片 |
coverage |
7 | 广度与回归切片 |
full |
102 | 全部活跃场景并集 |
python3 run.py run \
--model '<你的模型>' \
--execution-mode live \
--benchmark-profile core \
--trials 1 \
--cleanup-agents
报告输出到 results/,可用 python3 run.py compare --results-dir results 对比多份报告。中断的运行支持 --continue 续跑,执行失败可 --rerun-exec-failures 重新入队。
六、新手常见疑问
Q:我只想学习题目设计,需要部署 OpenClaw 吗?
不需要。直接读 scenarios/ 下的 YAML 和 datasets/ 下的 fixtures 即可,这正是 HuggingFace 数据集的用法;只有实际跑分才需要本地 openclaw CLI。
Q:incubating 场景能用吗?
可以查看(python3 run.py inventory --benchmark-status all --json),但榜单排名只统计 active 场景,新手别拿孵化题自评。
Q:为什么我的分数和榜单对不上?
检查三点:profile 是否一致(默认 core 只有 26 题)、trials 是否跑满 3 轮、模型定价是否按 config/pricing.yaml 配置。榜单同时公布运行环境与更新时间,可逐项核对。
七、小结
- ClawProBench 数据集 = 场景 YAML + fixtures + 确定性 checker,已在 HuggingFace 完整开源
- 开源榜单追求可复现,闭源榜单防止定向刷分,双轨互补
coreprofile + 3 轮试验 +FinalScore,是看懂排行榜的关键三件套
按照 CONTRIBUTING.md 的指引,你也可以为基准提交场景改进或评分器加固——这也是理解这套数据集最快的方式。

