skill-up是什么?Agent Skill评测与演进工具完整入门指南

原创2026-10-13 14:49:301,663 阅读

skill-up是什么?Agent Skill评测与演进工具完整入门指南

skill-up 是一个面向 Agent Skill 的开源评测与演进工具。它把声明式测试用例跑在 Claude Code、Codex 等真实 Agent Engine 上,自动评分 Agent 的回答和工作区变更,并生成可接入 CI 的结构化报告;搭配内置的 skill-upper Skill,还能把评测失败变成诊断、修复和回归用例,实现"评测 → 诊断 → 修复 → 重跑"的完整闭环。

skill-up Agent Skill评测与演进闭环工作流程总览图

🎯 skill-up 是什么:让 Skill 质量可度量

skill-up 是一款命令行工具(CLI),帮助开发者量化评估 Agent Skill 的质量。你只需要准备两份文件:

  1. eval.yaml — 评测入口配置:声明运行环境、Agent Engine、模型等全局设置
  2. cases/*.yaml — 单个评测用例:定义发给 Agent 的 prompt、预期结果和评分规则

运行时,skill-up 会自动完成:把你的 Skill 安装进真实 Agent Engine → 为每个用例准备独立环境(本地 / Docker / OpenSandbox)→ 按声明的策略评分 → 输出 JSON、JUnit、HTML 等报告。

四大核心评测能力

能力 说明
Skill 评测 跨用例度量 Skill 行为,支持"有 Skill"与"无 Skill"两组对比运行
Agent 评测 不安装 Skill,直接评测某个 Agent Engine 或自定义 agent 的裸跑表现
Workspace 评测 结合仓库 fixture 或已有本地目录(--workspace),检查 Agent 对文件和代码库的实际操作
Skill 演进 由 skill-upper 驱动:诊断失败、修复或扩充用例、重跑评测,直至套件持续进化

⚙️ 5 分钟快速上手

第一步:安装 skill-up

仓库提供了官方安装脚本 install.sh,也可以克隆仓库后本地构建:

git clone https://gitcode.com/gh_mirrors/sk/skill-up
cd skill-up
make build

# 验证安装
skill-up --version

第二步:准备评测目录

在你的 Skill 目录下创建 evals/ 文件夹:

my-skill/
  SKILL.md              # 你的 Skill 定义
  evals/
    eval.yaml           # 评测入口配置
    cases/
      basic-test.yaml   # 一个评测用例

eval.yaml 最小配置如下:

schema_version: v1alpha1

environment:
  type: none            # 纯文本 Skill 无需容器隔离

engine:
  name: claude_code     # 内置引擎:claude_code / codex / qodercli 等

cases:
  files:
    - evals/cases/basic-test.yaml

用例文件 cases/basic-test.yaml 非常简洁:

input:
  prompt: |
    请帮我生成一个 Hello World 程序

expect:
  must_contain:
    - "Hello"
    - "World"

💡 用例 ID 默认取文件名(这里是 basic-test);未显式配置的字段都会使用合理默认值,如超时 300 秒、最多 10 轮对话。

第三步:校验并运行

# 校验配置(只检查 YAML,不启动 Agent Engine)
skill-up validate

# 运行评测
skill-up run

看到 Case basic-test: PASS (pass_rate: 100.0%) 即完成第一次 Agent Skill 评测!结果会写入 <skill-name>-workspace/iteration-1/,包含 result.json 等结构化产物。

🧪 三种灵活的评分策略

不同用例需要不同的"判分规则",skill-up 内置三种策略:

  • rule_based — 规则评分:检查输出是否包含/不包含关键词、退出码是否符合预期,适合确定性断言
  • script — 脚本评分:运行自定义脚本验证结果,适合复杂的多条件检查
  • agent_judge — 大模型评分:让模型按你写的判分标准(criteria)主观打分,适合开放性任务

🔄 "评测 → 演进"闭环如何工作

skill-up 不止于"跑一次测试",它的设计哲学是 FAIL → AUTO-FIX → REGRESSION → RE-RUN:

  1. FAIL:skill-up run 执行全部用例,产出 result.json
  2. AUTO-FIX:skill-upper 在对话中解读报告,判断是 Skill 实现错了还是用例本身不合理
  3. REGRESSION:修复后补充回归用例,让同一问题不再复发
  4. RE-RUN:重新运行验证,基线对比(baseline)量化修复效果

skill-up 基线回归对比报告:修复后通过率从0%提升到100%

开启基线模式后,报告会清晰呈现修复前后的指标变化——用例状态由 FAIL 变 PASS、通过率从 0% 提升到 100%、耗时缩短,改进一目了然。

🔍 真实使用变成回归用例:观测机制

仓库还内置了 DeepSeek Harness(DSH)插件 plugins/dsh-skill-up/,支持可选的观测采集:Agent 在真实使用中调用 Skill 的过程会被记录下来,skill-upper 可以回顾这些观测记录、定位其中的准确性问题(例如把依赖目录误算进项目源码),并把经确认的问题转化为回归用例,让每次改进都有据可依。

skill-up 观测机制:Agent回顾评测运行记录并定位统计错误

📊 结构化报告与 CI 集成

一次评测运行会产出多种格式报告:

  • grading.json、benchmark.json、benchmark.md — 兼容 Anthropic 生态
  • result.json — 每个用例的结构化结果
  • report.xml(JUnit)与 report.html — 通过 --format 参数按需追加

仓库根目录附带开箱即用的 GitHub Action,在 workflow 中加几行配置,即可让 Skill 评测在每次 PR 自动运行,甚至跨多个 Engine 做回归对比。已有 Anthropic 风格 evals.json 的用户,还能用 skill-up import 一键迁移。

📚 进阶学习资源

资源 路径
快速上手指南 docs/zh/guide/getting-started.md
编写评测配置与用例 docs/zh/guide/writing-evals.md
CLI 命令参考 docs/zh/guide/cli-reference.md
评测示例(code-stats) examples/code-stats/
skill-upper Skill 源码 skills/skill-upper/SKILL.md
评测执行与评分编排实现 internal/evaluator/
报告生成实现 internal/report/
DSH 插件说明与演示 plugins/dsh-skill-up/README.md

掌握 eval.yaml + 用例 + 三种评分策略,你就具备了完整评估并持续演进一个 Agent Skill 的能力。🎉

登录后查看全文
skill-up