skill-up是什么?Agent Skill评测与演进工具完整入门指南
skill-up是什么?Agent Skill评测与演进工具完整入门指南
skill-up 是一个面向 Agent Skill 的开源评测与演进工具。它把声明式测试用例跑在 Claude Code、Codex 等真实 Agent Engine 上,自动评分 Agent 的回答和工作区变更,并生成可接入 CI 的结构化报告;搭配内置的 skill-upper Skill,还能把评测失败变成诊断、修复和回归用例,实现"评测 → 诊断 → 修复 → 重跑"的完整闭环。
🎯 skill-up 是什么:让 Skill 质量可度量
skill-up 是一款命令行工具(CLI),帮助开发者量化评估 Agent Skill 的质量。你只需要准备两份文件:
eval.yaml— 评测入口配置:声明运行环境、Agent Engine、模型等全局设置cases/*.yaml— 单个评测用例:定义发给 Agent 的 prompt、预期结果和评分规则
运行时,skill-up 会自动完成:把你的 Skill 安装进真实 Agent Engine → 为每个用例准备独立环境(本地 / Docker / OpenSandbox)→ 按声明的策略评分 → 输出 JSON、JUnit、HTML 等报告。
四大核心评测能力
| 能力 | 说明 |
|---|---|
| Skill 评测 | 跨用例度量 Skill 行为,支持"有 Skill"与"无 Skill"两组对比运行 |
| Agent 评测 | 不安装 Skill,直接评测某个 Agent Engine 或自定义 agent 的裸跑表现 |
| Workspace 评测 | 结合仓库 fixture 或已有本地目录(--workspace),检查 Agent 对文件和代码库的实际操作 |
| Skill 演进 | 由 skill-upper 驱动:诊断失败、修复或扩充用例、重跑评测,直至套件持续进化 |
⚙️ 5 分钟快速上手
第一步:安装 skill-up
仓库提供了官方安装脚本 install.sh,也可以克隆仓库后本地构建:
git clone https://gitcode.com/gh_mirrors/sk/skill-up
cd skill-up
make build
# 验证安装
skill-up --version
第二步:准备评测目录
在你的 Skill 目录下创建 evals/ 文件夹:
my-skill/
SKILL.md # 你的 Skill 定义
evals/
eval.yaml # 评测入口配置
cases/
basic-test.yaml # 一个评测用例
eval.yaml 最小配置如下:
schema_version: v1alpha1
environment:
type: none # 纯文本 Skill 无需容器隔离
engine:
name: claude_code # 内置引擎:claude_code / codex / qodercli 等
cases:
files:
- evals/cases/basic-test.yaml
用例文件 cases/basic-test.yaml 非常简洁:
input:
prompt: |
请帮我生成一个 Hello World 程序
expect:
must_contain:
- "Hello"
- "World"
💡 用例 ID 默认取文件名(这里是
basic-test);未显式配置的字段都会使用合理默认值,如超时 300 秒、最多 10 轮对话。
第三步:校验并运行
# 校验配置(只检查 YAML,不启动 Agent Engine)
skill-up validate
# 运行评测
skill-up run
看到 Case basic-test: PASS (pass_rate: 100.0%) 即完成第一次 Agent Skill 评测!结果会写入 <skill-name>-workspace/iteration-1/,包含 result.json 等结构化产物。
🧪 三种灵活的评分策略
不同用例需要不同的"判分规则",skill-up 内置三种策略:
rule_based— 规则评分:检查输出是否包含/不包含关键词、退出码是否符合预期,适合确定性断言script— 脚本评分:运行自定义脚本验证结果,适合复杂的多条件检查agent_judge— 大模型评分:让模型按你写的判分标准(criteria)主观打分,适合开放性任务
🔄 "评测 → 演进"闭环如何工作
skill-up 不止于"跑一次测试",它的设计哲学是 FAIL → AUTO-FIX → REGRESSION → RE-RUN:
- FAIL:
skill-up run执行全部用例,产出result.json - AUTO-FIX:skill-upper 在对话中解读报告,判断是 Skill 实现错了还是用例本身不合理
- REGRESSION:修复后补充回归用例,让同一问题不再复发
- RE-RUN:重新运行验证,基线对比(baseline)量化修复效果
开启基线模式后,报告会清晰呈现修复前后的指标变化——用例状态由 FAIL 变 PASS、通过率从 0% 提升到 100%、耗时缩短,改进一目了然。
🔍 真实使用变成回归用例:观测机制
仓库还内置了 DeepSeek Harness(DSH)插件 plugins/dsh-skill-up/,支持可选的观测采集:Agent 在真实使用中调用 Skill 的过程会被记录下来,skill-upper 可以回顾这些观测记录、定位其中的准确性问题(例如把依赖目录误算进项目源码),并把经确认的问题转化为回归用例,让每次改进都有据可依。
📊 结构化报告与 CI 集成
一次评测运行会产出多种格式报告:
grading.json、benchmark.json、benchmark.md— 兼容 Anthropic 生态result.json— 每个用例的结构化结果report.xml(JUnit)与report.html— 通过--format参数按需追加
仓库根目录附带开箱即用的 GitHub Action,在 workflow 中加几行配置,即可让 Skill 评测在每次 PR 自动运行,甚至跨多个 Engine 做回归对比。已有 Anthropic 风格 evals.json 的用户,还能用 skill-up import 一键迁移。
📚 进阶学习资源
| 资源 | 路径 |
|---|---|
| 快速上手指南 | docs/zh/guide/getting-started.md |
| 编写评测配置与用例 | docs/zh/guide/writing-evals.md |
| CLI 命令参考 | docs/zh/guide/cli-reference.md |
| 评测示例(code-stats) | examples/code-stats/ |
| skill-upper Skill 源码 | skills/skill-upper/SKILL.md |
| 评测执行与评分编排实现 | internal/evaluator/ |
| 报告生成实现 | internal/report/ |
| DSH 插件说明与演示 | plugins/dsh-skill-up/README.md |
掌握 eval.yaml + 用例 + 三种评分策略,你就具备了完整评估并持续演进一个 Agent Skill 的能力。🎉


