ClawProBench 项目全图景:102个活跃场景、6大能力维度与164任务目录完整解析

原创2026-10-26 09:50:481,449 阅读

ClawProBench 项目全图景:102个活跃场景、6大能力维度与164任务目录完整解析

ClawProBench 是一个面向 OpenClaw 真实运行时的 LLM Agent 评测基准框架(live-first benchmark harness),它用 102 个活跃场景、164 个任务目录对大模型智能体进行确定性评分与多轮可靠性评估。本文带你完整看懂这个基准的 6 大能力维度、5 种基准配置与排行榜指标体系。

ClawProBench 评测基准架构图:Agent Loop 核心、Safety Layer 安全层与工具系统如何协同工作

一、ClawProBench 是什么?为什么是 Live-First?

和"只考选择题"的静态评测不同,ClawProBench 把模型放进 OpenClaw 真实运行时 里干活:智能体要自己读文件、调工具、执行命令、处理异常,最后由 确定性评分器(deterministic grading)给出分数,不依赖"模型自己说做完了"。

核心设计有 3 个关键词:

  • Live-First:任务在真实 openclaw CLI 环境中执行,覆盖 skills、memory、browser、cron、sessions 等原生能力面
  • 确定性评分:每个场景配套专用检查脚本,位于 custom_checks/,同一答案永远得到同一分数
  • 重复试验可靠性:通过 --trials N 多轮运行,用 pass^3、pass@3 衡量模型"稳定成功"而非"偶尔碰对"

ClawProBench 排行榜:多模型在六大能力维度上的评分、效率与安全性对比

二、6 大能力维度:102 个活跃场景全景

所有任务以 YAML 形式存放在 scenarios/ 下,按 6 个能力维度组织。当前活跃场景共 102 个,分布如下:

维度 目录 活跃场景数 考察什么
工具使用 scenarios/tool_use/ 15 工作区取证、工具组合、能力边界、策略最优性证明
规划 scenarios/planning/ 19 约束满足、资源分配、动态优先级、多目标排程
错误恢复 scenarios/error_recovery/ 21 级联故障、部分成功、优雅降级、回滚窗口决策
约束遵循 scenarios/constraints/ 16 隐藏约束、时间窗口、冲突约束消解
安全性 scenarios/safety/ 12 密钥外泄拒绝、社会工程、隐私推理、提示注入
综合推理 scenarios/synthesis/ 19 逆向推理、多源融合、因果链、反事实推理

其中 36 个场景标记为 signal_source: openclaw_native,专门直接压测 OpenClaw 原生能力面(如 tool_use_14_openclaw_skill_inventory_live、planning_13_openclaw_skill_routing_live 等)。

几个典型场景长这样(均可在 scenarios/ 目录直接查看 YAML 定义):

除 102 个 active 场景外,目录中还包含 62 个 incubating(孵化中) 场景,可用 --benchmark-status all 查看,合计 164 个任务目录。

三、5 种基准配置:不同目的选不同"考试卷"

ClawProBench 通过 benchmark profile 区分"主排名路径"和"广度覆盖",实现见 harness/benchmark_profiles.py,策略文档见 docs/quality/benchmark-profiles.md:

配置 场景数 用途
core 26 默认排名套件,头部对比看这个
intelligence 95 扩展活跃能力基准,区分度更强
coverage 7 低风险的广度与回归切片
native 36 仅 OpenClaw 原生任务切片
full 102 全部活跃场景的并集

每个场景都带有 4 个显式元数据轴:benchmark_group、benchmark_core、benchmark_status、signal_source,保证"哪个场景属于哪套卷子"完全可查、可复现。

四、确定性评分与可靠性指标

排行榜不只看"平均分",核心指标包括 pass^3、pass@3、average_score 和 FinalScore:

  • pass^3:3 次试验全部通过才算过 —— 衡量稳定性,默认排名信号
  • pass@3:3 次中至少1 次通过 —— 衡量能力上限
  • FinalScore:100 × S^0.40 × r_all^0.45 × r_any^0.15,加权突出"稳定重复成功",同时保留 best-of-3 的上限表现

报告会同时公开 avg_score、max_score、成本、延迟与 resume 元数据;中断的运行可用 --continue 或 --resume-from 续跑,执行失败可用 --rerun-execution-failures 重新入队。

ClawProBench ModelPK 模型对比工具:两个模型在六大维度与逐任务分数上的正面 PK

五、仓库目录速览

模块 路径 说明
CLI 入口 run.py inventory / dry / run / compare 四个子命令
评测引擎 harness/ 加载器、运行器、评分器、报告器与 OpenClaw live bridge
任务定义 scenarios/ YAML 格式的基准任务(6 大维度)
种子数据 datasets/ 各场景的 live-task 数据与 setup/teardown 脚本
评分逻辑 custom_checks/ 场景专用的确定性检查脚本
回归测试 tests/ 加载器、运行器、评分与报告的测试覆盖
配置模板 config/openclaw.json.template 本地 OpenClaw 配置参考模板

六、快速开始:三步跑起来

1️⃣ 克隆并搭建环境(推荐使用 uv):

git clone https://gitcode.com/gh_mirrors/cl/ClawProBench
cd ClawProBench
pip install uv && uv venv --python 3.11
source .venv/bin/activate
uv pip install -r requirements.txt

2️⃣ 确认可用性(需本地有 openclaw CLI):

openclaw agents list --json
python3 run.py inventory   # 查看 102 个活跃场景目录
python3 run.py dry         # 空跑验证场景集

3️⃣ 跑一次单轮冒烟测试:

python3 run.py run --model '<MODEL>' --execution-mode live \
  --benchmark-profile core --trials 1 --cleanup-agents

完整对比报告用 python3 run.py compare --results-dir results 生成。验证清单详见 docs/validation/checks.md,贡献指南见 CONTRIBUTING.md。

七、总结

ClawProBench 的价值可以浓缩为一句话:在真实运行时里,用确定性分数,衡量 Agent 的"稳定能力"而非"偶发运气"。

  • 164 个任务目录(102 活跃 + 62 孵化),6 大维度覆盖工具、规划、恢复、约束、安全、综合推理
  • 5 种 profile 让排名、广度、原生覆盖各司其职
  • pass^3 + FinalScore 指标体系直击"重复可靠性"这一 Agent 评测的核心痛点

如果你想给自己的模型做一次真实环境下的全面体检,从 core profile 的单轮 smoke 开始,就是最简单的上手方式。

登录后查看全文
ClawProBench