3种skill-up判分策略深度对比:rule_based、script与agent_judge怎么选
3种skill-up判分策略深度对比:rule_based、script与agent_judge怎么选
如果你正在用 skill-up(一个面向 Agent Skill 的评测与进化工具)为 Skill 编写评测,那么「判分策略怎么选」往往是第一道门槛:rule_based 规则判分、script 脚本判分、agent_judge 大模型判分,三者在成本、精度和适用场景上差异很大。这篇指南用对比表 + 仓库内的真实示例,帮你在 10 分钟内选对判分方式。
先搞懂 skill-up 的判分流程:expect 门控 + judge 判分
skill-up 的判分分两层,理解这一点是选对策略的前提:
| 层级 | 作用 | 成本 |
|---|---|---|
expect |
快速门控:关键词、退出码、文件是否存在等 7 类轻量检查 | 零成本,本地执行 |
judge |
正式质量判分:rule_based / script / agent_judge 三选一 |
随策略递增 |
关键机制:expect 一旦失败,judge 会被直接跳过——所以能放进 expect 的检查尽量不要浪费在 judge 层。门控逻辑见 internal/judge/expect.go,judge 实例由 internal/judge/factory.go 按配置创建。
策略一:rule_based 规则判分——零成本的确定性检查
rule_based 是默认首选。它用声明式规则判定通过/失败,完全确定、可复现,成本极低。
常用匹配器:
output_contains:最终输出必须包含all(全部)/any(至少一个)/not(不得包含)output_matches:用 Go 正则对输出做更精确的匹配exit_code:检查退出码tool_called:断言 Agent 调用了指定工具(还支持对工具参数做部分匹配)files_exist/files_not_exist:检查工作区文件
一个容易踩坑的细节:failure 规则优先于 success——任何一条 failure 规则命中就立即判 FAIL,否则所有 success 规则必须全部满足。规则实现见 internal/judge/rule_based.go。
仓库示例:code-stats 评测用正则断言统计结果必须恰好是 3 个文件、且绝不能出现 .js(依赖文件)行:
judge:
type: rule_based
success:
- output_matches:
all:
- '(?m)^- Total Files: 3$'
not:
- '(?m)^\| \.js \|'
参考:examples/code-stats/evals/cases/exclude-dependencies.yaml
策略二:script 脚本判分——把校验逻辑交给你的脚本
当检查逻辑太复杂(比如要解析 JSON、对比两个文件、调用外部校验工具),script 策略允许你用自己的脚本(任意语言)做判分:
- 工作目录是 case 的 workspace 根目录
- 退出码 0 = PASS,非 0 = FAIL
- 注入环境变量:
$EVAL_FINAL_MESSAGE、$EVAL_EXIT_CODE,以及生成 transcript 时的$EVAL_TRANSCRIPT_PATH - 脚本 stdout 会被捕获,作为判分理由写进报告
timeout_seconds控制超时,默认 30 秒
配置只需三行:
judge:
type: script
script_path: evals/fixtures/scripts/check-stats.sh
仓库示例:code-stats 示例的判分脚本会校验输出必须包含 "Files by Extension"、"Total Files"、Markdown 表格等必要章节,并拒绝包含 error 字样的输出:examples/code-stats/evals/fixtures/scripts/check-stats.sh,脚本实现细节见 internal/judge/script.go。
策略三:agent_judge 大模型判分——LLM 按 rubric 打分
有些结果必须靠语义理解才能判:回答是否切题、建议是否可执行、代码审查是否准确。这时用 agent_judge:由一个 LLM 充当裁判,按你写的自然语言评分标准(criteria)逐条打分。
judge:
type: agent_judge
model: anthropic/claude-sonnet-4-6
criteria:
- "identified the null pointer dereference issue (u may be nil)"
- "provided a specific fix suggestion (nil check)"
pass_threshold: 0.7
核心参数:
pass_threshold:通过阈值,默认 0.7——通过率 ≥ 阈值才判 PASSjudge.skills:可以给裁判单独安装只读评分 Skill,只影响裁判、不装给被测 Agent- 裁判输出必须是严格 JSON(含每条 criterion 的
passed和evidence),解析失败时会自动纠正重试一次
⚠️ 代价:它会消耗额外 token、耗时更长。官方建议:确定性检查尽量留在 expect 或 rule_based,agent_judge 只留给真正需要语义判断的断言。实现见 internal/judge/agent_judge.go,完整示例参考 e2e/testdata/agent-judge-criteria/evals/cases/detailed-code-review.yaml。
三种判分策略对比表:成本与适用场景
| 维度 | rule_based | script | agent_judge |
|---|---|---|---|
| 判分依据 | 声明式规则 | 脚本退出码 | LLM 按 rubric 打分 |
| 成本 | 极低 | 低(取决于脚本) | 高(消耗 token,较慢) |
| 确定性 | 完全确定、可复现 | 确定(脚本说了算) | 非确定,结果可能有波动 |
| 最适场景 | 关键词、退出码、工具调用、文件检查 | 结构化输出的复杂自定义校验 | 语义质量评估(措辞、推理、审查深度) |
| 源码位置 | rule_based.go | script.go | agent_judge.go |
skill-up 判分策略选型:3 步决策清单
官方的选型决策树非常直接(见 skills/skill-upper/references/judge-types.md):
- 关键词、文件、退出码、工具调用就能判定成功? → 用
rule_based(绝大多数 case 止步于此) - 结构化输出需要自定义复杂校验? → 用
script - 结果的好坏需要语义判断? → 才用
agent_judge
一条实用经验:混合使用。把 expect 当门控、rule_based 当主判分、agent_judge 只覆盖少数语义断言,成本与质量最平衡。
判分结果最终驱动 Skill 的进化闭环——下面这张图展示了一次 benchmark 对比:同一个 case 在基线运行中 FAIL、改进后 PASS,正是判分信号带来的直接收益:
小结
- rule_based:零成本、确定性,默认首选
- script:逻辑复杂时用脚本,退出码 0 即通过
- agent_judge:语义判断的最后手段,注意 token 成本
- 配置完整参考:docs/guide/writing-evals.md,判分架构总览:internal/judge/README.md
选对判分策略,你的 skill-up 评测既省钱又可靠。

