+31 分很漂亮,但成本没降:技能评测会不会变成新的形式主义

原创2026-11-16 19:00:081,418 阅读
文章标签:AI 评测AI 技能模型评测人工智能CLI代码质量静态分析漏洞扫描开发工具AI Agent

+31 分很漂亮,但成本没降:技能评测会不会变成新的形式主义

NVIDIA 在 8 月公布的 SkillEvaluator 基准结果里,有一个数字被反复转录到中文社区:对 300 多个 verified skills、30 多个产品、两套 Agent harness 的 A/B 实测,平均 Skill Lift 为 +31 分。同一篇官方博文里还写着另外两个数字,传播度低得多:jetson-optimize-memory 让 token 从 617,306 降到 142,540(−76.9%),执行时间从 474.9s 降到 220.0s;而 cuopt-install 让 token 从 25,227 涨到 55,582(+120.3%),时间从 34.0s 涨到 41.1s。

一个涨分、一个涨成本,两者都被同一套框架测了出来,但只有前者进入了分数。这不是疏忽,而是仓库里一行带注释的设计决策。这篇文章想讨论的正是这件事:当评测体系把"能自动打分的项"抬成门禁、把成本挪到报告旁边,它会塑造出什么样的技能作者行为——以及这套体系自己留下了哪些反形式主义的钩子。

一、+31 分是怎么算出来的:五个维度等权,成本被显式排除

先把分数的构造说清楚。constants.py 里的 DIMENSION_MAPPING 定义了 Tier 3 的五个维度,每个维度都由固定信号加权得到:

维度 回答的问题 来源信号
Security 用起来安全吗 security
Correctness 答案对吗 accuracy(LLM judge,5 条布尔)
Discoverability 该加载时加载对了吗 skill_execution
Effectiveness 帮用户达成目标了吗 mean(goal_accuracy, behavior_check)
Efficiency 有没有浪费工具或技能调用 skill_efficiency

Overall Score 是这五项的无权重平均。注意 Efficiency 这一行:它的唯一来源是 skill_efficiency(路由 + 工具调用是否productive),不包含 token。真正测量 token 的 token_efficiency 在同一份配置里被明确排除:

"efficiency": {
    # token_efficiency is intentionally report-only. Including it here
    # would let token usage alone change the canonical quality verdict.
    "evaluators": ["skill_efficiency"],
    "weights": [1.0],
    ...
},

对应到 docs/metrics-reference.mdx,token_efficiency = 1 / (1 + U / 200000)(TOKEN_EFFICIENCY_HALF_LIFE 在 constants.py 里为 200,000),文档原话是:"This signal is deliberately not part of any dimension or the Overall Score."

这个决策本身有充分理由:把成本混进质量分,会让"省 token"直接买到"更高质量"的结论,那才是真正的指标污染。但它也带来一个后果——一个把 token 翻倍、时间拉长 20% 的技能,只要路由和工具分类不判为浪费,Overall 可以一分不掉。cuopt-install 的 +120.3% 就是这样被"测出来但不计分"的。

顺带拆解一下 +31 的构成,会发现形式主义的第一层土壤:官方表格里 Correctness 46→87(+41)、Discoverability 42→82(+40)、Effectiveness 39→78(+39)、Efficiency 43→78(+35)、Security 97→98(+1)。Security 因为 baseline 已接近满分,等权计入后把平均值从 +39 拉低到 +31。而 Discoverability 和 Efficiency 这两项,官方博文自己点明是"against the skill itself":baseline 臂没有安装技能,这两个维度的组件拿不到满分,所以 baseline 是 42 和 43 而不是 0。

也就是说,+31 里有相当一部分来自测量定义的结构,而非"A 技能比 B 技能更好用"。这不是造假,但它意味着这个数字不能被某个具体技能拿去复用成"我也值 +31"。

SkillEvaluator 三层评测流水线:Tier 1 静态校验、Tier 2 语义去重、Tier 3 真实任务 A/B 对照

二、形式主义的典型路径:70 分门槛是文本模式,不是行为

Tier 1 的 Quality Score 是 0–100 的静态分,规则集中在 validators/quality_score.py,权重是 Correctness 0.35 / Discoverability 0.25 / Reliability 0.25 / Efficiency 0.15。它的判定方式非常"字面":

for expected in self.quality_config["expected_headers"]:
    accepted_headings = [expected["heading"], *expected["alternatives"]]
    if not any(heading in content for heading in accepted_headings):
        dim.deduct(expected["points"], "info", expected["message"], expected["suggestion"])

config/quality-default.yaml 里,## Prerequisites、## Limitations、## Troubleshooting 各扣 5 分;"错误处理"则是一个词表匹配——只要正文里出现 error、failure、validate 等任一词,10 分保住,规则名为 mentioned。

于是有一个可以精确算出来的"最省力达标路径":一个缺三个章节、且全文没提过错误处理的技能,Reliability 会被扣 25 分。你不需要改任何行为,只要补三行标题 + 写一句含 "error" 的话,Reliability 从 75 回到 100,复合分直接 +6.25(0.25 × 25)。同理把超长示例挪进 references/ 触发的那 15 分 Efficiency 扣分,价值 2.25 分。

而 --min-score(默认 70)在 docs/tier1-validation.mdx 里被定义为一个独立门禁:"Severity overrides cannot waive the minimum." 这句话的本意是防止放水,实际效果是把"文本格式"提升为唯一不可绕过的硬指标。

形式主义真正发生的地方,是 CI 的默认配置。仓库自带的 ci/bundles/0.9.0/skill-checks.yml 是这样的:

    with:
      paths: skills
      min-score: 70
      security-baselines: false
      scan-mode: auto
      llm: false

而 docs/ci-integration.mdx 建议的无密钥门禁就是 --tiers 1,Tier 3 要显式加 --block-on-agent-eval 才会参与合并判定。于是最常见的落地形态是:PR 上唯一的硬门槛是一个文本规则分,真正跑 Agent 的实测是 advisory。在这种配置下,理性作者的最优策略当然是"把 SKILL.md 写成检查器喜欢的样子",而不是"让 Agent 表现更好"。

值得一提的是,仓库作者显然知道这个问题。走 validate 生成的发布卡(BENCHMARK.md)逻辑是 fail-closed 的:任一必需 tier 缺失或证据不完整就是 INCOMPLETE,并且明确写着不要用它推荐发布;用 --checks 收窄过的 Tier 1 跑法"cannot certify Tier 1";每个结果还要带 skill-evaluator-source-tree/2 的源树摘要(docs/reports.mdx)。也就是说,体系里存在"能跑"和"能认证"两层。形式主义恰好住在只有第一层的地方。

三、+31 是一次尝试跑出来的:统计地基比传播声量薄

官方博文在"Known limitations"里承认了两件事:85% 的技能只跑了 1 次尝试,15% 跑了 2 次;并且"this post does not report confidence intervals"。

docs/metrics-reference.mdx 对这个问题的表述比博文更直接:

With --n-attempts 1 and a handful of cases, a run is a smoke test, not a benchmark. ... the Wilson interval on four cases has a half-width of up to 0.35.

同一份文档还专门列了三条"合理读法/不合理读法":可以说"在这 20 个 case、这个 agent 和模型下,with-skill 臂在共享基准上高 0.21,且配对 bootstrap 区间不含 0";不能说"这个技能把 Agent 性能提升了 21%"。Skill Lift 是分数单位上的差值,不是百分比提升。

仓库为此设了一套数据充分性策略 tier3/dataset_sufficiency.py:

MIN_DISTINCT_CASES = 10
MIN_NEGATIVE_CASES = 1
MAX_PASS_RATE_INTERVAL_HALF_WIDTH = 0.20
MIN_PAIRED_CASES = 10
POLICY = "dataset-sufficiency-v1"

不满足就标 provisional。另有 pass@k 的 Wilson 区间与配对 McNemar 检验,并且在不一致对 ≤5 时明确标注 resolution-limited,而不是报告"无效果"——这是一个很克制、也很容易被忽略的细节。

把这些放到一起看,+31 是一个目录级宏观平均,建立在以单次尝试为主、无置信区间的样本上。它能回答"整体上 verified skills 值不值得装",回答不了"我这个技能是否值得上线"。把前者当后者用,就是形式主义最典型的入口。

四、防退化的两条硬约束

约束一:指标要含成本项,但不能让成本篡改质量结论

仓库现在的做法是"完全排除",理由正当但不完整。更稳的形态是并列 + 预算门槛,而不是二选一。原材料其实都在:

  • docs/tier3-live-evaluation.mdx 的 Cost limits:--max-agent-tokens、--max-judge-calls、--max-attempts-total、--max-cost-usd、--price-file。
  • 价格文件由用户提供,harbor/run_budget.py 里 PriceBook.load 要求每个模型给出 input_per_mtok 与 output_per_mtok,可选 cached_input_per_mtok;文档明确指出 verified_against_provider_billing 永远为 false,且不计 judge 推理、环境搭建、容器与后端费用。
  • 预算是"admission boundary",不是硬上限:已放行的工作可以把实测值顶过上限。
{
  "claude-sonnet": { "input_per_mtok": 3.0, "output_per_mtok": 15.0, "cached_input_per_mtok": 0.3 }
}
skillevaluator tier3 evaluate ./my-skill \
  --agents codex --env-mode docker \
  --n-attempts 3 \
  --price-file ./prices.json --max-cost-usd 40

但要真正防退化,光设预算不够,发布卡上必须把 lift 和成本写进同一句话。BENCHMARK.md 已经有 58.4% → 94.8% (+36.4 points) 这样的 uplift 列,dashboard 也已经能展示 token、agent_seconds 和 Harbor 记录的 cost_usd(docs/performance-dashboard.mdx:canonical JSON 从不记录 USD 成本,成本只能从保留的 run 目录读)。缺的只是把"单位成本得分"——比如 lift per 100k uncached tokens——升级为结论行的必填项。一旦"分数涨、成本涨"在卡片上明晃晃地并排,作者就没有动机去刷纯文本分了。

约束二:评测要含真实任务,且禁止"测到技能被调用"冒充"任务被完成"

这一条仓库做得比大多数评测框架认真,值得直接抄。

首先是数据集不许泄题。 tier3/evals_spec.py 在提示里写得很清楚:baseline 臂不装技能、用同一套 prompt/expected_output/assertions 评分,所以"prompt 指向技能自己的文件,或断言要求 Agent 读过 SKILL.md/用过技能",baseline 天然做不到,会虚抬 lift;tier3 validate 会对这类条目告警,create-eval-dataset 的模板还会把裸 SKILL.md 改写成 my SKILL.md 规避歧义。技能是否被使用由 skill_execution 单独计分,不混进正确性。

其次是负样本是硬要求。 数据充分性策略要求至少 1 个 negative case,--full 会生成"不该触发技能"的 off-skill prompt。只会加分的技能,和一个见到任何请求都加载的技能,在只看正样本的评测里没有区别。

最后,也是最重要的一条:docs/metrics-reference.mdx 的"What has not been established"里写着——"There is no control arm for instruction presence." 现在的对照是"有技能 vs 无技能",它无法区分"技能内容有用来"和"单纯多给了一段指令有用"。

这正是形式主义的技术定义:只要写点什么就能涨分,那写什么就不重要了。要堵住它,需要第三条臂——占位技能臂(同样长度的无关指令,或只有 frontmatter 的空壳技能)。如果 with-skill 相对 placeholder 没有显著优势,这个技能的 lift 就只是"多了一段 prompt"的效应。仓库没有这条臂,任何声称"+31 证明了技能内容价值"的说法都超出了证据边界。

顺带说,attempt verdict 的三段式反而很抗刷分:goal_accuracy 必须为 1.0、security 必须为 1.0,然后才看 Overall 是否 ≥ --pass-threshold(默认 0.50)。行为项 behavior_check 是 warning-only,不参与判定——这条设计避免了"多写几步期望流程就更容易加分"。

五、一套不容易退化成形式主义的用法

把上面的证据落成四条可执行规则:

  1. PR 上跑 Tier 1,但不当它是质量证明。 70 分意味着"格式合规",不意味着"有用"。它挡的是 XML 标签、PII、密钥、许可证这类硬问题,这部分价值是真实的。
  2. 发版前跑 Tier 3,参数不要省。 --n-attempts ≥ 3,数据集 ≥10 个 case、≥1 个 negative,两臂固定同一 agent/model/env。低于这个规模,报告自己就会标 provisional,别把 provisional 当结论。
  3. 发布卡必须同时给出 lift、token、时间、成本。 任何一项显著退化(例如 token 增长接近 cuopt-install 的 +120%)就要么优化技能,要么明确写下"这是用成本换正确率"的取舍。
  4. 对高价值技能补一条占位臂。 哪怕手工做一次:把 SKILL.md 换成等长的无关说明,看 lift 掉多少。掉不动,说明你测的是"多了点上下文",不是"技能"。

回到标题。+31 分是真的,它证明了"给 Agent 装上经过验证的技能"在整体上有效;成本也是真的没有降,cuopt-install 那样的反例被同一套工具诚实地记录了下来,只是没被计入分数。评测会不会变成新的形式主义,不取决于指标设计得多精巧,而取决于使用它的人愿不愿意把"不进分数的那一栏"也读出来、写进决策。SkillEvaluator 把这一栏留在了报告里,并且在文档里逐条写下了自己的局限——包括"维度定义是设计决策而非经过验证的构念"、"阈值是为讨论而选的约定"。一份会这么自我限定的评测,比一份只报 +31 的榜单更不容易被形式主义吞掉。

登录后查看全文
SkillEvaluator