3种skill-up判分策略深度对比:rule_based、script与agent_judge怎么选

原创2026-10-13 19:39:401,632 阅读

3种skill-up判分策略深度对比:rule_based、script与agent_judge怎么选

如果你正在用 skill-up(一个面向 Agent Skill 的评测与进化工具)为 Skill 编写评测,那么「判分策略怎么选」往往是第一道门槛:rule_based 规则判分、script 脚本判分、agent_judge 大模型判分,三者在成本、精度和适用场景上差异很大。这篇指南用对比表 + 仓库内的真实示例,帮你在 10 分钟内选对判分方式。

skill-up判分策略总览:EVALUATE评测循环中JUDGE判分环节的位置

先搞懂 skill-up 的判分流程:expect 门控 + judge 判分

skill-up 的判分分两层,理解这一点是选对策略的前提:

层级 作用 成本
expect 快速门控:关键词、退出码、文件是否存在等 7 类轻量检查 零成本,本地执行
judge 正式质量判分:rule_based / script / agent_judge 三选一 随策略递增

关键机制:expect 一旦失败,judge 会被直接跳过——所以能放进 expect 的检查尽量不要浪费在 judge 层。门控逻辑见 internal/judge/expect.go,judge 实例由 internal/judge/factory.go 按配置创建。

策略一:rule_based 规则判分——零成本的确定性检查

rule_based 是默认首选。它用声明式规则判定通过/失败,完全确定、可复现,成本极低。

常用匹配器:

  • output_contains:最终输出必须包含 all(全部)/ any(至少一个)/ not(不得包含)
  • output_matches:用 Go 正则对输出做更精确的匹配
  • exit_code:检查退出码
  • tool_called:断言 Agent 调用了指定工具(还支持对工具参数做部分匹配)
  • files_exist / files_not_exist:检查工作区文件

一个容易踩坑的细节:failure 规则优先于 success——任何一条 failure 规则命中就立即判 FAIL,否则所有 success 规则必须全部满足。规则实现见 internal/judge/rule_based.go。

仓库示例:code-stats 评测用正则断言统计结果必须恰好是 3 个文件、且绝不能出现 .js(依赖文件)行:

judge:
  type: rule_based
  success:
    - output_matches:
        all:
          - '(?m)^- Total Files: 3$'
        not:
          - '(?m)^\| \.js \|'

参考:examples/code-stats/evals/cases/exclude-dependencies.yaml

策略二:script 脚本判分——把校验逻辑交给你的脚本

当检查逻辑太复杂(比如要解析 JSON、对比两个文件、调用外部校验工具),script 策略允许你用自己的脚本(任意语言)做判分:

  • 工作目录是 case 的 workspace 根目录
  • 退出码 0 = PASS,非 0 = FAIL
  • 注入环境变量:$EVAL_FINAL_MESSAGE、$EVAL_EXIT_CODE,以及生成 transcript 时的 $EVAL_TRANSCRIPT_PATH
  • 脚本 stdout 会被捕获,作为判分理由写进报告
  • timeout_seconds 控制超时,默认 30 秒

配置只需三行:

judge:
  type: script
  script_path: evals/fixtures/scripts/check-stats.sh

仓库示例:code-stats 示例的判分脚本会校验输出必须包含 "Files by Extension"、"Total Files"、Markdown 表格等必要章节,并拒绝包含 error 字样的输出:examples/code-stats/evals/fixtures/scripts/check-stats.sh,脚本实现细节见 internal/judge/script.go。

策略三:agent_judge 大模型判分——LLM 按 rubric 打分

有些结果必须靠语义理解才能判:回答是否切题、建议是否可执行、代码审查是否准确。这时用 agent_judge:由一个 LLM 充当裁判,按你写的自然语言评分标准(criteria)逐条打分。

judge:
  type: agent_judge
  model: anthropic/claude-sonnet-4-6
  criteria:
    - "identified the null pointer dereference issue (u may be nil)"
    - "provided a specific fix suggestion (nil check)"
  pass_threshold: 0.7

核心参数:

  • pass_threshold:通过阈值,默认 0.7——通过率 ≥ 阈值才判 PASS
  • judge.skills:可以给裁判单独安装只读评分 Skill,只影响裁判、不装给被测 Agent
  • 裁判输出必须是严格 JSON(含每条 criterion 的 passed 和 evidence),解析失败时会自动纠正重试一次

⚠️ 代价:它会消耗额外 token、耗时更长。官方建议:确定性检查尽量留在 expect 或 rule_based,agent_judge 只留给真正需要语义判断的断言。实现见 internal/judge/agent_judge.go,完整示例参考 e2e/testdata/agent-judge-criteria/evals/cases/detailed-code-review.yaml。

三种判分策略对比表:成本与适用场景

维度 rule_based script agent_judge
判分依据 声明式规则 脚本退出码 LLM 按 rubric 打分
成本 极低 低(取决于脚本) 高(消耗 token,较慢)
确定性 完全确定、可复现 确定(脚本说了算) 非确定,结果可能有波动
最适场景 关键词、退出码、工具调用、文件检查 结构化输出的复杂自定义校验 语义质量评估(措辞、推理、审查深度)
源码位置 rule_based.go script.go agent_judge.go

skill-up 判分策略选型:3 步决策清单

官方的选型决策树非常直接(见 skills/skill-upper/references/judge-types.md):

  1. 关键词、文件、退出码、工具调用就能判定成功? → 用 rule_based(绝大多数 case 止步于此)
  2. 结构化输出需要自定义复杂校验? → 用 script
  3. 结果的好坏需要语义判断? → 才用 agent_judge

一条实用经验:混合使用。把 expect 当门控、rule_based 当主判分、agent_judge 只覆盖少数语义断言,成本与质量最平衡。

判分结果最终驱动 Skill 的进化闭环——下面这张图展示了一次 benchmark 对比:同一个 case 在基线运行中 FAIL、改进后 PASS,正是判分信号带来的直接收益:

skill-up判分结果对比:benchmark基线运行FAIL与改进运行PASS的回归对比

小结

  • rule_based:零成本、确定性,默认首选
  • script:逻辑复杂时用脚本,退出码 0 即通过
  • agent_judge:语义判断的最后手段,注意 token 成本
  • 配置完整参考:docs/guide/writing-evals.md,判分架构总览:internal/judge/README.md

选对判分策略,你的 skill-up 评测既省钱又可靠。

登录后查看全文
skill-up