ClawProBench 数据集使用指南:HuggingFace 开源数据集与闭源榜单数据完全入门

原创2026-10-26 22:02:49854 阅读

ClawProBench 数据集使用指南:HuggingFace 开源数据集与闭源榜单数据完全入门

ClawProBench 是一个面向 OpenClaw 真实运行时的 live-first 大模型 Agent 评测框架,它的 ClawProBench 数据集已在 HuggingFace 以 xyh110sym/clawprobench 的形式完整开源,包含 102 个活跃任务的全部 prompts、fixtures 与场景配置,适合新手直接下载学习;项目同时维护一套闭源榜单数据,用于防止厂商针对公开题目做定向刷分。本文带你从零理解这套数据集的组织方式、开源与闭源榜单的区别,并 5 分钟跑通第一次评测。

ClawProBench 数据集排行榜预览:展示各模型的 pass^3、pass@3 与平均得分排名

一、ClawProBench 是什么:为什么需要"真运行时"数据集

市面上很多 Agent 基准用静态题目 + 离线判分,但模型在真实运行环境里会不会调对工具、能不能多轮稳定复现,往往差别很大。ClawProBench 的核心特点:

  • live-first 执行:所有任务在本地 OpenClaw 运行时中真实执行,而非模拟回放
  • 确定性评分:每个场景配有专用 checker(见 custom_checks/),同一份结果多次打分一致
  • 重复试验可靠性:默认每个模型跑 3 轮(--trials 3),用 pass^3、pass@3 等指标衡量稳定性
  • 规模:102 个活跃场景,目录共 164 个(含 62 个孵化中场景),覆盖 6 大能力域

任务按能力域组织在 scenarios/ 下,包括 tool_use(工具使用)、planning(规划)、safety(安全)、constraints(约束遵循)、error_recovery(错误恢复)、synthesis(综合推理)以及 oib5(导入的遗留任务集)。

二、HuggingFace 开源数据集:你能拿到什么

自 v2.0.4 起,全部 102 个活跃场景数据集已在 HuggingFace 发布,仓库名 xyh110sym/clawprobench,Hugging Face 搜索框直接搜项目名即可。数据集与代码仓库结构一一对应,主要包含三类资产:

资产 仓库位置 作用
场景定义(prompts + 配置) scenarios/,YAML 格式 每个任务的提示词、难度、通过阈值、标签
题目素材(fixtures) datasets/,按 任务id/fixtures 分目录 任务启动时预置进工作区的输入文件
评分逻辑(checker) custom_checks/,Python 脚本 对模型产出做确定性判分

一个典型场景长什么样?以约束题 13_exact_extract_no_inference_live.yaml 为例,YAML 中定义了 prompt(任务指令)、pass_threshold: 0.7(通过线)、workspace_seed_dir(素材注入路径)和 custom_check(对应哪个判分脚本)。新手建议挑几份 YAML 读一读,就能理解"题目—素材—判分"三件套是如何咬合的。

数据集配套的工程件

三、闭源榜单数据:为什么要有"第二套题"

ClawProBench 闭源榜单模型对比界面:两个模型的 FinalScore 与逐项得分对比

完全开源的题目有一个绕不开的问题:模型厂商看到榜单后,可能针对公开题目做定向优化(overfit benchmark)。为此项目维护了双轨制:

  • 开源数据集榜单:基于 HuggingFace 公开数据集,任何模型都可复现,是日常排名的主通道
  • 闭源数据集榜单:题目不公开,防止刷分。自 v2.0.0 起已发布 33 个模型的闭源结果,支持模型详情页、可视化图表和任务浏览
  • LLMLeadBoard:同家族的报告聚合榜,收录 63 个模型、55 份公开模型报告、444 个 benchmark 分数,支持按模型横向对比与其他榜单家族的分数参照

两榜对照着看,能更客观地判断一个模型的"真实水位"与"应试水位"。

四、读懂核心指标:FinalScore 是怎么算的

榜单默认以 pass^3 作为排名信号,完整指标由 README.zh-CN.md 定义:

  • pass^3:3 轮全部通过的比例,衡量稳定复现能力(权重最高)
  • pass@3:3 轮中至少 1 轮通过的比例,衡量能力上限
  • average_score:平均得分,衡量整体质量
  • 综合公式:FinalScore = 100 × S^0.40 × r_all^0.45 × r_any^0.15(S 为平均得分,r_all/r_any 由 pass^3 与 pass@3 换算)

设计意图很明确:稳定的重复成功比偶尔的高分更重要,这正是"repeated-trial reliability"这一卖点的落地方式。

五、快速上手:克隆仓库并跑通开源数据集

1️⃣ 获取仓库

git clone https://gitcode.com/gh_mirrors/cl/ClawProBench
cd ClawProBench

2️⃣ 搭建 Python 环境

pip install uv
uv venv --python 3.11
source .venv/bin/activate
uv pip install -r requirements.txt

3️⃣ 检查 OpenClaw 运行时

openclaw --help
openclaw agents list --json

4️⃣ 查看数据集目录(不实际执行)

python3 run.py inventory          # 人类可读的场景清单
python3 run.py dry               # 校验场景集合可加载

5️⃣ 选择 benchmark profile 并试跑

Profile 场景数 用途
core 26 默认排名套件(推荐新手从这里开始)
intelligence 95 扩展活跃能力套件
native 36 仅 OpenClaw 原生能力切片
coverage 7 广度与回归切片
full 102 全部活跃场景并集
python3 run.py run \
  --model '<你的模型>' \
  --execution-mode live \
  --benchmark-profile core \
  --trials 1 \
  --cleanup-agents

报告输出到 results/,可用 python3 run.py compare --results-dir results 对比多份报告。中断的运行支持 --continue 续跑,执行失败可 --rerun-exec-failures 重新入队。

六、新手常见疑问

Q:我只想学习题目设计,需要部署 OpenClaw 吗? 不需要。直接读 scenarios/ 下的 YAML 和 datasets/ 下的 fixtures 即可,这正是 HuggingFace 数据集的用法;只有实际跑分才需要本地 openclaw CLI。

Q:incubating 场景能用吗? 可以查看(python3 run.py inventory --benchmark-status all --json),但榜单排名只统计 active 场景,新手别拿孵化题自评。

Q:为什么我的分数和榜单对不上? 检查三点:profile 是否一致(默认 core 只有 26 题)、trials 是否跑满 3 轮、模型定价是否按 config/pricing.yaml 配置。榜单同时公布运行环境与更新时间,可逐项核对。

七、小结

  • ClawProBench 数据集 = 场景 YAML + fixtures + 确定性 checker,已在 HuggingFace 完整开源
  • 开源榜单追求可复现,闭源榜单防止定向刷分,双轨互补
  • core profile + 3 轮试验 + FinalScore,是看懂排行榜的关键三件套

按照 CONTRIBUTING.md 的指引,你也可以为基准提交场景改进或评分器加固——这也是理解这套数据集最快的方式。

登录后查看全文
ClawProBench