「很多技能可以扔掉了」刷屏之后,评测框架给出的是相反答案

原创2026-11-16 18:40:26114 阅读
文章标签:AI 评测AI 技能模型评测人工智能CLI代码质量静态分析漏洞扫描开发工具AI Agent

「很多技能可以扔掉了」刷屏之后,评测框架给出的是相反答案

2026 年 7 月,一篇题为《再见 Superpowers!很多 Skill 真的可以扔掉了》的文章在掘金拿到两万多阅读、一百多个点赞和十几条讨论。它的核心判断很抓人:GPT-5.6、K3、Claude Fable5 这一代模型已经能自己补齐"读项目、找调用链、改完跑测试"的常规动作,那些只重复常规步骤的 SKILL.md 不再是资产,而是负担;装多了还会互相抢活。

同一个月前后,NVIDIA 在开发者博客上公布了另一组数字:对 300 多个 Verified Skills、30 多个产品、在 Claude Code 和 OpenAI Codex 两套 harness 上做有/无技能对照,平均 Skill Lift 为 +31 分,剔除已经接近满分的安全性后是 +39 分。

一边说"可以扔了",一边说"平均涨 31 分"。这两句话看起来互斥,其实测的不是同一件事。真正值得写下来的是:增益确实存在,但它挂在五个前提上;而"该扔"的结论,恰好能由同一个框架的另两层给出可测量的判据。 本文结合公开情报与仓库源码,把这两套结论拆开对齐。

爆款观点的立论:技能通胀与经验资产化的代价

先把流行判断讲清楚,它并不是情绪化的"技能无用论",而是三个具体的技术观察。

第一,常规步骤的边际价值被模型能力吃掉了。 那篇文章的措辞很直接:一份 SKILL.md 如果没有项目特有的约束,也没有脚本、模板和检查项,只是在重复常规步骤,就不值得保留——"它没给模型增加多少信息,倒可能让一个小任务多走几道流程"。

第二,技能数量会挤占路由空间。 这一点在仓库里有硬数据支撑,不需要靠感觉。SkillEvaluator 的 harness 兼容性检查把每个 harness 的技能列表预算写成了 profile:

# src/skillevaluator/harness/profiles/codex.yaml(节选)
limits: {scan_depth: 6, catalog_desc_codepoints: 1024,
         list_budget: "2% of context, 8,000 chars if unknown, max 10,000 tokens"}
listing: {cut: 1024, budget: {desc_chars: 8000, chars_per_context_token: 0.08}}

规则 CX-LIST-BUDGET 的描述是逐级恶化的:描述先被缩短,然后被移除,最后技能被排除在列表之外。Claude Code 的 profile 给的是 desc_chars: 8000,注释写明那是"上下文窗口的 1%,按每 token 4 字符计;窗口未知时取 8,000"。OpenClaw 更紧:max_skills_in_prompt: 150, max_prompt_chars: 18000。

这与那篇文章里"装到 100 个时,Agent 开工前看到的可能已经不是 100 份完整描述"是同一个事实,只是仓库把它变成了可执行的判定:overlay.py 里 listing_budget_chars() 会按 chars_per_context_token 和实际上下文长度算出预算,超了就报 CC-LIST-BUDGET / CX-LIST-BUDGET,效果标为 degraded,outcome 是 listing shortened。

第三,描述写宽了会互相抢单。 仓库甚至为这种情况准备了一条不带任何 embedding 依赖的规则:同一目录下两份技能描述的词集 Jaccard 相似度达到 _LOOKALIKE_OVERLAP = 0.95 且至少有 4 个实词,就报 *-LOOKALIKE,理由写得很克制——"模型可能把请求路由到错的那个"。另一条 *-USER-COPY 处理同名副本:Claude Code 用用户目录那份,Codex 两份都列出来。这类问题在"装一个试试"的阶段根本不会暴露。

至于"经验资产化"这条更大的叙事——另一篇五万阅读的文章把它称作"把隐性知识拆成步骤、封装成可复制数字资产,亲手递给即将取代自己的系统"——它解释的是为什么技能数量会爆炸,而不是技能本身有没有用。数量爆炸是观测事实,效果好坏是另一个问题。把两者混在一起谈,就会出现"因为大家写太多,所以技能没用"这种推理跳跃。

实测的反证:增益真实存在,但带着前提条件

NVIDIA 公布的首批基准用的是 2026 年 8 月 12 日的 benchmarks.json 快照,宏观平均(每个 skill–harness 组合等权),覆盖 300 多个 Verified Skills、30 多个产品,在 Claude Code 与 Codex 上各跑一遍。方法本身很朴素:同一个用例、同一个提示词、同一个模型、同样的评分标准,唯一变量是装不装这个技能,两边各有独立沙箱。

维度 无技能 有技能 Skill Lift
正确性 46 87 +41
可发现性 42 82 +40
有效性 39 78 +39
效率 43 78 +35
安全性 97 98 +1
五维平均 — — +31
剔除安全性 — — +39

拆到 harness:Claude Code 全维 +34,Codex +29;剔除安全性后分别是 +42 和 +36。两者差约 5 分,但产品之间的差异是 +2 到 +46。也就是说,决定一个技能能不能帮上忙的,主要不是 harness,而是任务领域和评测集设计。

看到 +31 就下"技能有用"的结论,和看到"可以扔了"就清空技能库一样草率。这份基准自己列了五个必须一起读的前提。

前提一:85% 的技能每个任务只跑了 1 次,15% 跑了 2 次,且博客没有给出置信区间。 这是目录级趋势,不是单技能结论。仓库文档把这句话说得更狠:metrics-reference.mdx 里明确写着,"在 --n-attempts 1 加少量用例的情况下,一次运行是 smoke test,不是 benchmark",4 个用例的 Wilson 区间半宽最窄也有 0.2449,仍宽于策略允许的 0.20,因此这类结果会被标成 provisional。

前提二:可发现性和效率的基线不是"模型原生能力"。 无技能臂拿不到这两项的行为分,但仍能因为工具使用得当、无关任务正确地不加载技能而得分,所以基线是 42 和 43 而不是 0。官方口径是:这两项应读作"装上之后技能有没有被正确激活和使用"的指标,不能当作"模型裸奔能力"的对照。

前提三:Token 和时间不会自动变省。 两个单次运行的例子方向完全相反:jetson-optimize-memory 让 token 从 617,306 降到 142,540(-76.9%),执行时间 474.9 秒降到 220.0 秒;cuopt-install 让 token 从 25,227 涨到 55,582(+120.3%),时间 34.0 秒涨到 41.1 秒。仓库因此把 token 效率和"效率"维度分开记:token_efficiency 只是报表里的数字,不进五维。

前提四:评测集质量决定信号质量。 用例里没有负例、没有边界任务,"技能有效"就无从证伪。

前提五:这是"技能 vs 无技能",不是"技能内容 vs 随便一段额外指令"。 文档自己承认缺少这个对照臂——"一次运行不会把技能内容的效果,和'被多给了一段指令'这件事本身的效果分开"。

分歧的根源:两个判断测的根本不是同一层

把两份材料摊平看,"相反答案"其实有三处系统性错位。

第一处:静态文档分 vs 活体行为分。 metrics-reference.mdx 开头就警告仓库里存在两套互不相干的评分:Tier 1 的 Quality Score 是 0–100 的静态分析,只看 SKILL.md,什么都不执行;Tier 3 的维度分、Overall、Skill Lift 是 0.0–1.0 的实跑测量。两者"只共享四个维度名字,别的什么都不共享"。一篇"你写的 Skill 及格了吗"式的评分文章,量的是文档工程;一份 Skill Lift 基准,量的是行为差异。用前者反驳后者,或者反过来,都是错位。

第二处:单个技能 vs 目录平均。 +31 是几百个已审核技能的宏观平均,方差极大(产品间 +2 到 +46)。而"很多技能可以扔"针对的是个人技能库里那些重复常规步骤的条目。两个陈述可以同时为真:目录平均 +31,我文件夹里那 60 个里有 40 个是负担。

第三处:被测量的是"增益",被吐槽的是"成本"。 一个技能可以既提升正确性又增加 token 消耗,cuopt-install 就是活例。用户的删除决策从来不是单目标优化,而是在"涨多少分 / 多花多少 token / 多走几步流程"之间权衡。Skill Lift 只回答第一个问题。

值得一提的是,SkillEvaluator 自己把这个边界写进了代码而不是只写在文档里。Overall 的公式在 metrics.py 与 constants.py 的 DIMENSION_MAPPING 之间是同一张表:

overall = mean(Security, Correctness, Discoverability, Effectiveness, Efficiency)

五个维度等权,没有例外;N/A 的维度直接移出均值,绝不计 0。而 Skill Lift 在 collector.py 的 _compute_lift() 里用的是"共享基准":只取两臂都跑过的用例、都打过分指标,两边同分母。这带来一个反直觉的性质——报告里的 lift 可能不等于两个显示分数的差,偶尔连符号都不同。把 baseline 46 和 with-skill 87 相减得到的 +41,和一次真实运行报出来的 lift,本来就不是同一个算法。

两种说法如何共存:该扔的是低质技能,不是技能这件事本身

如果一定要给一个能落地的结论,那就是:"可以扔"的对象不是技能这个载体,而是三类可判定的低质技能。 有意思的是,判据并不需要另找工具,SkillEvaluator 的三层结构刚好对应三种"该扔"。

SkillEvaluator 三层流程:Tier 1 静态校验、Tier 2 语义去重、Tier 3 实跑对照,最终产出报告与 Skill Lift

第一类该扔:结构上就不合格的(Tier 1 直接扣分)

quality_score.py 里 Quality Score 的权重是固定的:

Quality = 0.35 * Correctness + 0.25 * Discoverability
        + 0.25 * Reliability + 0.15 * Efficiency

扣分项里有一批和"爆款观点"完全对得上的条目:描述少于 20 字符扣 20 分;出现 something / things / stuff / various / general 这类空词扣 15 分;用第一/第二人称("I can"、"you should")扣 15 分;没有触发措辞扣 10 分;描述超过 200 字符扣 5 分;超过 100 字符的宽泛描述(含 data / files / documents / project / manage / handle / process)却没有 not for、do not use 这类负向触发说明,再扣 5 分。

最后一条正是"技能互相抢活"的静态成因:描述只写"能做什么",不写"不该在什么时候用"。

# 无需 API key,不跑模型,不跑 Docker
skillevaluator quality-check ./my-skill -r cli -r json -o reports/first-quality

默认及格线是 --min-score 70,而且这是一个独立闸门:策略里的严重级别覆盖无法绕过它。

第二类该扔:内容重复、和已有技能打架的(Tier 2)

Tier 2 对单个技能做两阶段判定:先按 embedding 余弦相似度聚簇(默认阈值 0.80,比跨技能更严,因为同一技能内部共享领域词汇是常态),再由 chat LLM 分类目的。三种裁决里只有一种要求你动手:

裁决 含义 处理
DUPLICATE 重复同一信息且无实质新增 合并到一处;置信度 ≥ 0.70 为 HIGH,阻断
INTENTIONAL_DETAIL 一处摘要、另一处展开 保留,渐进式披露不算问题
RELATED_BUT_DISTINCT 同主题不同目的或角度 保留,不出 finding

跨技能则用 tier2-deduplication.mdx 里的五档分类,EXACT_DUPLICATE ≥ 0.95 为 CRITICAL 阻断,HIGH_SIMILARITY ≥ 0.90 为 HIGH 阻断,SIMILAR ≥ 0.75 为 MEDIUM 建议,LOOSELY_RELATED ≥ 0.50 为 LOW。

skillevaluator tier2 ./my-skill --catalog ./skill-catalog.json

这一层直接回应了"装多了互相抢活":它不是让你凭感觉删,而是告诉你哪两份在语义上已经是一份。注意 --catalog 不是可选项的装饰——不传时报告会明确写"跨技能比较未运行",而不会假装"这个技能与目录中其他技能不同"。

第三类该扔:真跑起来没有 lift,或者根本没被激活的(Tier 3)

这是唯一能证伪"我这个技能到底有没有用"的一层。跑法就是标准的对照:

skillevaluator doctor --env-mode docker
uv run --python 3.13 --extra tier3 skillevaluator tier3 ./my-skill

判定逻辑不复杂,但很硬。一次 attempt 要通过三道检查(attempt_verdict.py):goal_accuracy 必须为 1.0;security 必须为 1.0;然后 overall >= pass_threshold(默认 0.50)。behavior_check 只警告,不改判定。lift 的分档写在 constants.py:

TIER3_LIFT_PASS_THRESHOLD = 0.05      # PASS   >= +0.05
TIER3_LIFT_FAIL_THRESHOLD = -0.10     # FAIL   <= -0.10,中间为 NEUTRAL

阈值区间故意留得很宽,代码注释给的理由是"低 attempt 数下实跑噪声大"。它只作为诊断证据着色,不决定整轮运行的 verdict。

比 lift 更该先看的是激活。如果所有正向用例的 with-skill 臂都没有任何激活证据,结果会直接报 INCONCLUSIVE: skill never activated(见 result_display.py),保留两臂分数供检查,但不给 lift 比较、也不给技能质量建议。很多"感觉没用"的技能,真实情况是从来没被触发过——而它的描述恰好就是 Tier 1 里那条"宽泛描述且无负向触发"。

用负例把"抢活"变成扣分项

这是整套框架里最贴合"该扔"主题的设计。负例在数据集里就是一个 expected_skill: null(或 should_trigger: false)的用例,checks.py 的 check_negative_case() 会扫描轨迹:只要读过该技能的 SKILL.md、或执行了该技能的脚本,立即 passed: false, score: 0.0,理由是 "Incorrectly read <skill>/SKILL.md"。

而数据集生成侧的 generate_dataset.py 用的是四桶策略——显式(用户点名技能)、隐式(只描述任务)、上下文(真实场景)、负例(不该触发)。模板模式下,EVAL.md 里没写安全的 off-skill 提示词,就不生成负例桶,只出三个正例。这个保守选择本身就是态度:宁可不测,也不伪造一个不合格的负例。

数据集不够大,就别把结论当真

最后一块也是最容易被忽略的:dataset-sufficiency-v1 策略。三个条件写在 dataset_sufficiency.py:

MIN_DISTINCT_CASES = 10          # 至少 10 个不同用例
MIN_NEGATIVE_CASES = 1           # 至少 1 个负例
MAX_PASS_RATE_INTERVAL_HALF_WIDTH = 0.20   # 95% Wilson 区间半宽 <= 0.20
MIN_PAIRED_CASES = 10            # 两臂都打分的用例至少 10 个

达不到就标 provisional,并且不改变 verdict、分数或退出码——它存在的唯一目的,是让"4 个用例跑出来的结果"看起来不再和"40 个用例跑出来的结果"一样权威。

一个诚实的收尾:这套框架自己承认的局限

一篇讲评测的文章,如果只引用有利于自己的数字,就和它批评的"技能营销"没区别。SkillEvaluator 的文档里有一节叫 "What has not been established",写得相当不客气,值得原样转述:

  • 没有公开发表过与人类标注轨迹的一致性研究。 没有 kappa,没有与独立人类评分者的一致性统计,没有校准曲线。
  • 随包的 validate-grader 参考集故意很小(16 个案例,14 评估 2 调参),而且公布出来的基线很难看:在评估切分上,两个被测 judge 模型在综合 overall 阈值下,把已知任务失败全部判为通过(15/15 false passes);accuracy 还会给格式错误和"假成功"的回答部分分。
  • 维度与信号定义是设计决策,不是被验证过的构念。 没有任何证据表明 skill_execution 测到了用户理解的"可发现性",也没有证据表明 Effectiveness 内部 0.5/0.5 的拆分、或五维等权聚合就是对的。
  • 阈值是约定。 0.50 的通过线、0.40/0.50 的维度分档、+0.05/−0.10 的 lift 分档、10 个用例的充分性下限,都是"选来供讨论的默认值",不是从误差模型推出来的。
  • 区间不等于泛化。 Wilson 和 bootstrap 描述的是"这一次配置、这一份数据、这一个 agent 和模型"下的用例,不能让异质用例变得独立,也不能把小 p 值变成"技能可泛化"的证据。

文档甚至给了一句话立场:"如果这里的公式和代码不一致,代码是契约,这一页是 bug。"这句话值得所有评测类项目抄走。

所以回到标题。爆款文章说的是"我的技能库里,很多条目已经不值得留";评测框架说的是"经过筛选与验证的那批技能,平均带来 +31 分"。两句都对,而且指向同一个动作:别再用"装了没装"来判断技能价值,改用"它在什么任务上、相对什么基线、涨了多少分、多花了多少 token"来判断。

工程上这件事已经被压成了三条命令的路径:Tier 1 筛掉结构和安全不合格的,Tier 2 筛掉重复和互相打架的,Tier 3 用负例和对照臂筛掉"看起来有用、其实从未被触发"的。剩下的那一小撮——带脚本、带参考资料、带项目特有约束、带个人偏好的——才是那篇文章里主张"我愿意长期维护"的东西,也正好是基准里能测出 +40 的那一类。

需要被扔掉的从来不是技能,而是那些从未被测量过的技能。

登录后查看全文
SkillEvaluator