Supervisor-Skills 五维评分框架:用 Higher / Faster / Stronger / Cheaper / Broader 系统评估科研 Idea
Supervisor-Skills 五维评分框架:用 Higher / Faster / Stronger / Cheaper / Broader 系统评估科研 Idea
本篇技术指南围绕 Supervisor-Skills 中 idea-evaluator 技能 的核心评分参考 five-dimensions.md 展开,讲解一套把"这个 Idea 值不值得做"转化为可打分、可仲裁、可复核的五维评估体系。读完本文,你将掌握五个改进维度的定义、经典切入点与 1-10 分评分细则,学会用聚合规则给出 Strong Accept / Accept with Revisions / Reject and Pivot 三类结论,并理解数据依据、机制依据与归因纪律这三条评分纪律的边界——这套方法既能用来评估别人的 Idea,也能反过来指导自己寻找渐进式创新的切入点。
一、框架的起源与目的:从"生成 Idea"到"评估 Idea"的同一把尺
1.1 源自渐进式创新的方法论
该框架脱胎于 handbook 2.2「想 Idea 的思路:更高更快更强」 中提出的渐进式创新(Incremental Innovation)方法论。其核心洞见是:
不要拿着"斧头"(解决方案)去找"木头"(研究问题);而是拿出现有最好的 Baseline,问自己在哪一条轴上它可以被改进。
在计算机科学与数据智能领域,多数研究工作并非开创全新问题(那属于颠覆式创新,可遇不可求),而是针对一个已有重要问题提出改进方案。当你面对一个已有通用方法的 Baseline 时,最容易陷入"空想"的困境——此时需要的是结构化地追问:这个方法在哪些维度上还不够好?框架借用了奥林匹克精神"更高、更快、更强",并结合计算机系统特性扩展为五个维度:
| 维度 | 中文名 | 核心目标 |
|---|---|---|
| Higher | 更高 | 提升准确率与效果(Effectiveness) |
| Faster | 更快 | 提升效率、降低开销(Efficiency) |
| Stronger | 更强 | 提升鲁棒性与泛化能力(Robustness & Generalization) |
| Cheaper | 更省 | 降低数据与方案成本(Data / Solution Cost) |
| Broader | 更广 | 跨界移植与统一(Cross-Domain & Unification) |
1.2 自然翻转成评估透镜
同一个框架可以自然地翻转成评估视角:给定一个 Idea,对照当前最强 Baseline,量化它在每个轴上的推进强度。原文档给出了两个经验法则:
- 强 Idea 通常在一个维度上占据主导(dominant),并且在至少另一个维度上站得住脚;
- 弱 Idea 通常在四个或更多维度上含糊不清、没有具体机制。
在 idea-evaluator 技能 的八步流程中,五维评分处于 Step 4:在完成首印象定位(Step 1)、致命缺陷审计(Step 2)、生命周期与能力匹配(Step 3)之后执行。这保证了排序的严谨性——一个 CRITICAL 的致命缺陷面前,再高的"Higher"分数也毫无意义,正如 skills 目录导读 所强调的:"致命缺陷审计(早期闸门)→ 生命周期与能力匹配 → 五维打分 → 范式跃迁探测与可行性核查,次序不能换"。
二、维度一:Higher(更高)——提升准确率与效果
定义
在最强现有 Baseline 之上提升准确率(Accuracy)、质量(Quality)或效果指标(Effectiveness)。 这是最直观的改进方向:现有方法效果还不够好,我要让它变得更好。
经典入口策略
1. 信息或模态补全(Information / Modality Augmentation)
思考 Baseline 是否忽略了对任务有帮助的输入信号。例如:Text-to-SQL 模型如果只使用表结构(Schema)加自然语言查询,那么在输入中补充数据库的数据分布(Data Distribution)或领域文档(Domain Documents)后,生成准确率通常会有显著提升。
2. 反馈驱动优化(Feedback-driven Refinement)
让执行环境的反馈驱动迭代式自我修正。例如:把编译器报错、运行时异常、测试失败结果返回给 LLM Agent 做自我反思(Self-Reflection),代码生成的成功率会明显上升。
3. 错误驱动的根因分析(Error-driven Root-cause Analysis)
先完整运行一遍 Baseline,把所有失败 Case 拿出来聚类,找出主导性失败模式,再针对性设计模块解决。例如:若发现 Text-to-SQL 的失败集中在复杂 JOIN 操作上,就设计一个专门负责分解 JOIN 逻辑的子 Agent。
评分标准
| 得分区间 | 判断标准 |
|---|---|
| 9-10 | 提出一个此前没有工作利用过的、有原理依据的新输入信号或新反馈回路,且有通往多点准确率提升的可行路径 |
| 6-8 | 组合已知信号,或把已知反馈机制应用到新场景;预期收益温和但真实 |
| 3-5 | 只是标准的 Prompt 工程或微调变体;相对更强 Baseline 的收益大概率落在噪声范围内 |
| 1-2 | 完全没有明显推进效果 |
落地示例:Alpha-SQL(ICML 2025)
Alpha-SQL 写作剖析 记载,这篇论文为 Text-to-SQL 引入基于 Monte Carlo Tree Search(MCTS)的推理时搜索。原文档给出的 Higher 评分:8 分,依据是:MCTS 是一种有原理依据的搜索机制,此前没有开源 Text-to-SQL 工作应用过,并且在 BIRD 开发集上取得了多点执行准确率提升(handbook 剖析中记载为 69.7% execution accuracy on the BIRD development set)。提升建议:与 Schema 补全配合,获取额外信号。
三、维度二:Faster(更快)——提升效率与降低开销
定义
在保持效果的前提下,降低墙钟时间(Wall-clock Time)、Token 成本、内存占用或计算预算。 当一个方法准确率已经很高,但运行太慢、资源消耗太大时,"更快"就成了极具价值的研究方向。
经典入口策略
1. 缓存与经验复用(Caching & Experience Reuse)
缓存成功轨迹,让重复任务不必从头重新规划。例如:LLM Agent 检索并复用过去针对相似任务的成功执行计划(Trajectories)作为经验库,显著降低 Token 开销。
2. 并行化与解耦(Parallelisation & Decoupling)
把长串行流水线拆成相互独立的子任务,交给专门化的 Agent 并行处理。例如:多 Agent 数据分析框架,每个 Agent 负责一个步骤(数据摄入、转换、可视化)。
3. 提前终止与动态路由(Early Exit & Dynamic Routing)
简单 case 路由到便宜模型,只有困难 case 才升级。例如:级联(Cascade)架构先用小模型做过滤,只在遇到模糊实例时才调用大模型。
评分标准
| 得分区间 | 判断标准 |
|---|---|
| 9-10 | 识别出大的、被量化的效率差距,并提出能弥合该差距的原理性机制(无准确率损失的 3 倍以上加速) |
| 6-8 | 针对已知效率瓶颈,机制可行;收益约为 1.5x-3x |
| 3-5 | 提到效率但没有具体机制;收益大概率微乎其微 |
| 1-2 | 完全不涉及效率 |
落地示例:LEAD(VLDB 2026)
LEAD 在迭代式指令微调数据选择中,消除了逐轮的全数据集推理(per-iteration full-dataset inference)。原文档给出的 Faster 评分:9 分,依据是:零额外推理开销是一个被闭合的原理性缺口——用微调循环中已经算好的训练损失信号替代昂贵的效用分数计算。相关写作剖析见 6.3 LEAD 写作剖析。
四、维度三:Stronger(更强)——鲁棒性与泛化能力
定义
在噪声、分布外(Out-of-Distribution)输入或跨域迁移下维持性能。 一个方法在标准 Benchmark 上表现很好,但换到真实场景、遇到噪声数据或跨领域测试就崩溃——解决这种"脆弱性"是非常高级的 Idea。
经典入口策略
1. 噪声容忍与容错设计(Noise Tolerance & Fault Tolerance)
优雅处理格式错误或歧义输入。例如:意图澄清(Intent-clarification)模块在遇到歧义时主动向用户提问消除歧义,而不是静默失败。
2. 异常恢复(Exception Recovery)
检测 API 失败、意外输出或工具崩溃,并用替代方案重试。例如:Agent 在主工具返回意外响应时回退到更简单的工具。
3. 解耦表征(Decoupled Representations)
把通用推理与领域特定知识分离,使同一推理模块能零样本(Zero-shot)迁移到新领域。例如:将 Agent 的规划能力与具体的 API 文档、数据库 Schema 解耦。
评分标准
| 得分区间 | 判断标准 |
|---|---|
| 9-10 | 直接针对已知脆弱性(歧义、OOD、领域偏移)提出原理性机制,并规划跨域评估 |
| 6-8 | 有具体机制提及鲁棒性,但只在单一领域上评估 |
| 3-5 | 只对鲁棒性敷衍表态,没有机制 |
| 1-2 | 完全不涉及鲁棒性 |
落地示例
原文档给出的示例是一个将规划与领域特定 API 解耦、并附带跨域评估的 Agent 框架:Stronger 评分 8 分,依据是清晰的零样本迁移故事与有原理依据的解耦设计。
五、维度四:Cheaper(更省)——数据与解决方案成本
定义
在保持效果的前提下,降低数据标注成本、训练成本或部署成本。 在数据智能领域,高质量标注数据(专家编写的复杂 SQL、高质量的 Agent 执行轨迹)往往极其昂贵;能在少数据甚至无数据情况下达到同等效果,就是巨大贡献。
经典入口策略
1. 基于 LLM 的数据合成(LLM-based Data Synthesis)
用强基础模型合成带标签的训练数据,或模拟 Agent 轨迹,降低人工标注需求。例如:用 GPT-4o 级别的大模型自动生成带伪标签的训练数据。
2. 人在回路的主动学习(Active Learning with Human in the Loop)
挑选"最值得标注""最需要人类介入"的最小样本集交给人审,最大化模型提升,而不是标注整个语料库。
3. 知识蒸馏(Knowledge Distillation)
把大模型的推理路径蒸馏进可部署的小模型,在更低推理成本下保持准确率。例如:用闭源大模型生成高质量推理过程,微调便宜的开源小模型。
评分标准
| 得分区间 | 判断标准 |
|---|---|
| 9-10 | 以朴素标注成本的一个零头产出高质量数据集;或部署成本比 Baseline 低一个数量级 |
| 6-8 | 通过已知机制将成本降低 2-5 倍 |
| 3-5 | 提到降本但没有量化 |
| 1-2 | 完全不考虑成本 |
落地示例:StatQA(NeurIPS 2024 D&B)
StatQA 的逆向合成管线(reverse-synthesis pipeline)通过从已验证的答案生成问题,绕开了人工编写问题这一环节,从而降低了标注成本。原文档给出的 Cheaper 评分:8 分。
六、维度五:Broader(更广)——跨界移植与统一
定义
把一个领域已经成熟的思想移植到另一个领域,或者把一组碎片化任务统一到单一框架之下。 跨领域移植往往能产生"降维打击"式的效果。
经典入口策略
1. 跨领域移植(Cross-domain Transplantation)
把一个领域成熟的技术应用到另一个领域。例如:把数据库查询优化器的代价估算、执行计划缓存引入 LLM Agent 的规划(Planning)过程。
2. 泛化与统一(Generalisation & Unification)
把一族任务(Text-to-SQL、Text-to-Python、Text-to-Chart)统一到一个共享底层结构的数据 Agent 框架之下。
评分标准
| 得分区间 | 判断标准 |
|---|---|
| 9-10 | 向非显然方向移植成熟技术且机制可行;或统一三个以上此前碎片化的任务族 |
| 6-8 | 移植一个已知想法;或统一两个任务族 |
| 3-5 | 只暗示与其他领域的联系,没有具体机制 |
| 1-2 | 想法完全孤立(siloed) |
落地示例:AFlow(ICLR 2025)
AFlow 将搜索式工作流生成方法,从类神经架构搜索(NAS-style)方法移植到 Agent 流水线设计。原文档给出的 Broader 评分:8 分,依据是:跨越了领域边界且机制有原理依据。相关写作剖析见 6.2 AFlow 写作剖析。
七、评分聚合规则:如何把五个分数变成决策
每个维度分配 1-10 的整数分数后,按下述规则聚合(这也是 idea-evaluator 技能 判定 Strong Accept / Accept with Revisions / Reject and Pivot 三档结论的分数侧依据):
- 主导维度 ≥ 8 且第二维度 ≥ 6:这就是这篇论文的 Thesis。写 Introduction 时应重点强调这两个维度。
- 三个或更多维度 ≤ 5:Idea 太单薄。要么找到真正闪光的那个维度并磨锋利,要么 Pivot 转向。
- 五个维度全部 ≤ 4:直接 Reject and Pivot。
- 没有任何单一维度达到 7:Idea 含糊不清。先让用户说出唯一的主导轴,再重新评估。
结合完整工作示例理解聚合逻辑
worked-examples.md 提供了三个已发表论文的回顾式完整评估,展示了五维雷达的实际形态:
示例 A:Alpha-SQL(ICML 2025)——增量式,Strong Accept
| 维度 | 分数 | 证据 | 提升建议 |
|---|---|---|---|
| Higher | 8 | MCTS 是开源 Text-to-SQL 未用过的原理性搜索机制 | 与 Schema 补全结合 |
| Faster | 3 | 搜索比直接生成消耗更多 Token | 简单查询加提前退出 |
| Stronger | 5 | 对困难查询有效,但对噪声输入无效 | 加意图澄清 |
| Cheaper | 4 | 无新训练数据;但搜索增加推理成本 | 缓存搜索轨迹 |
| Broader | 6 | 可迁移到其他受限生成任务 | 提及扩展方向 |
这是典型的增量式主导模式:Higher 主导(8 分)、Broader 站住(6 分),判定 Strong Accept,并建议把 Faster 的成本预先登记为已知局限。
示例 B:AFlow(ICLR 2025)——跨域移植,Strong Accept
| 维度 | 分数 | 证据 | 提升建议 |
|---|---|---|---|
| Higher | 7 | 工作流优化后在 HumanEval 上有准确率收益 | 加 LiveCodeBench |
| Faster | 6 | 搜索有开销,但在重复任务上摊薄 | 缓存工作流 |
| Stronger | 6 | 跨代码生成 Benchmark 迁移 | 测跨模型 |
| Cheaper | 5 | 不需要新数据 | 用更小的算子库 |
| Broader | 9 | 从 NAS 跨域移植到 Agent 工作流设计 | 与工具使用 Agent 统一 |
这是Broader 主导模式:跨域移植让它在框架新颖性上赢得顶会席位,Broader 9 分是论文的核心卖点。
示例 C:LEAD(VLDB 2026)——新问题,Strong Accept
| 维度 | 分数 | 证据 | 提升建议 |
|---|---|---|---|
| Higher | 7 | 匹配或超过迭代选择 Baseline | 加安全微调 Benchmark |
| Faster | 9 | 零额外推理是一个数量级的成本优势 | 用墙钟时间量化 |
| Stronger | 6 | 跨指令微调语料库稳健 | 加跨域测试 |
| Cheaper | 8 | 复用已算好的训练信号 | 开源选择代码 |
| Broader | 6 | 可迁移到 RLHF 和安全微调 | 在 Discussion 中提及 |
三个示例也说明:真实评估语料里大量存在 Reject 结局(通常由 F1 无新颖性或 F5 能力不匹配驱动),只是这类案例不会被收入档案;fatal-flaws.md 中定义了十类致命缺陷及其检测规则。
八、五维总结表
| 维度 | 核心目标 | 入口策略 | 示意示例 |
|---|---|---|---|
| Higher | 准确率与效果提升 | 信息或模态补全;反馈驱动优化;错误根因分析 | Alpha-SQL 的 MCTS 推理搜索 |
| Faster | 效率与成本降低 | 缓存与经验复用;并行化与解耦;提前退出与动态路由 | LEAD 的零推理数据选择 |
| Stronger | 鲁棒性与泛化 | 抗噪与容错;异常恢复;解耦表征 | 意图澄清类 Agent |
| Cheaper | 数据或方案成本 | LLM 合成;主动学习;知识蒸馏 | StatQA 的逆向合成 |
| Broader | 跨界与统一 | 跨域移植;抽象与统一 | AFlow 的工作流搜索 |
九、常见评分失误:五种必须避免的偏差
原文档明确指出五种高频评分错误,逐一列出以便自查:
- 通胀(Inflation):为了"表现得慷慨"把每个维度都打 7 或 8 分,这会彻底摧毁评分信号。正确做法:以 5 分为默认值,向上移动必须给出理由。
- 通缩(Deflation):每个维度都打 3 或 4 分,说明你没读懂这个 Idea,应该重读。
- 无引用证据(Uncited Evidence):没有从用户 Idea 描述中引用具体句子作为依据的分数,不是真正的分数。每个分数都必须能指向用户的某一句原话。
- 泛泛的提升建议(Generic Lift Suggestions):"换个 Prompt 试试"不是提升建议。必须指名本文档中的具体入口策略(例如"引入反馈驱动优化"或"做跨域移植")。
- 分数与结论不匹配(Score and Verdict Mismatch):没有任何维度超过 7 分却给出 Strong Accept,是自相矛盾的,必须对齐。
十、评分依据:数据与机制,两者都算数
10.1 两种合法依据
把一个维度打到默认值 5 分以上,只有两种依据,且两者都算:
- 用户报告的实测结果(Measured Results):直接引用用户自己的陈述作为该分数的证据;
- 站得住脚的机制论证(Mechanism Argument):清晰说明为什么这个机制"几乎必然"带来这种收益。这类分数必须显式标注:"基于机制,尚未被数据证实"(mechanism-based, not yet confirmed by data)。
既没有数据也没有机制的维度,停留在 5 分,并注明"该维度没有给出依据"(no grounds given for this dimension)。
10.2 不要扼杀好的、尚未验证的 Idea
原文档特别强调两条红线不可混淆:
- 编造数字是绝对红线:没有实验就一个字都不能写百分比或加速比;
- 有信心的定性判断正是评估的本职:一个有扎实机制支撑的未测试 Idea,可以在某维度上打 8 或 9 分——前提是分数标注为机制基础、写清驱动机制、并指明一个决定性的验证实验。此时的结论应写成 "值得继续推进,待验证实验确认"(worth pursuing, pending the validation experiment)。
不要把未测试的好 Idea 系统性封顶在 7 分。零实验结果意味着"不编数字 + 机制标注",而不是"7 分是天花板、Strong Accept 遥不可及"。低分应留给机制空洞的想法;扎实的机制配高分,同时把风险讲明白。
十一、归因纪律:警惕外围因素"窃取"核心机制的功劳
这是原文档定义的最常见的评分错误:把一个收益归因给核心机制,但收益可能实际上来自外围因素——一个路由步骤、一个后处理步骤、一个更强的基座模型、有利的样本,或一个更弱的 Baseline。
处理规则:当一个令人印象深刻的收益在表面上可能来自任何外围因素时,先把受影响的维度封顶,直到有受控对比(消融实验)分离出核心机制自身的贡献。原文档明确指出这条规则跨领域普适:
- 化学中的产率提升可能来自额外的纯化步骤,而不是新催化剂;
- 社会科学中的效应可能由样本选择驱动,而不是声称的干预。
检验方法始终相同:去掉外围步骤或选择,问核心机制还能保留多少收益。如果答案是"很少",那么归因还没有被挣到(the attribution has not been earned)。
十二、实战闭环:五维评分在 idea-evaluator 中的完整用法
12.1 评分纪律与流程位置
idea-evaluator 技能 的 Step 4 明确了执行纪律,与本文档第十、十一节完全对应:
- 每个维度从 5 分起步,用证据推动移动;
- 证据可以是用户报告的实测结果(直接引用),也可以是站得住脚的机制论证(标注"基于机制,尚未被数据证实");
- 扎实但未测试的机制可以达到 8-9 分,前提是加标注并指明验证实验,不要系统性封顶;
- 数据与机制都没有的维度停在 5 分,标注"无依据";
- 警惕归因问题:当收益在表面上可能来自外围因素(路由、后处理、更强基座模型、有利样本)时,封顶该维度,直到消融实验分离出核心机制;
- 非 STEM 范式(人文、社科、经济、法学)改用 domain-evaluation-frameworks.md 的替代维度,但纪律相同。
12.2 输出格式:五维雷达表
技能的最终输出中包含一张五维雷达表,格式固定:
| 维度 | 分数 1-10 | 证据 | 提升建议 |
|---|---|---|---|
| Higher | ... | ... | ... |
| Faster | ... | ... | ... |
| Stronger | ... | ... | ... |
| Cheaper | ... | ... | ... |
| Broader | ... | ... | ... |
每条"证据"必须能引用用户 Idea 描述中的具体句子,每条"提升建议"必须指名本文档中的入口策略。当高分为机制基础而非数据基础时,结论需附加"值得继续推进,待验证实验确认",并把验证实验列入前三项行动。
12.3 与其余步骤的协同
在完整流程中,五维评分不是孤立环节:上游是致命缺陷审计(fatal-flaws.md,若出现 CRITICAL 缺陷则直接短路到 Reject and Pivot,不再执行评分)和生命周期与能力匹配(lifecycle-capability-matching.md,评估 Idea 生命周期是否落在学生的执行窗口内);下游是范式跃迁探测(paradigm-shift-probe.md,用第一性原理、房间里的大象、技术周期、Hamming 法则四问探测颠覆潜力)与可行性核查。通过评估的 Idea 才进入 tech-paper-template 锁论文骨架,或先参考 handbook 2.3 颠覆式创新 深化范式层面的思考。
结语:让"没 Idea"变成可执行的追问
这套五维框架的可贵之处在于它把主观的"感觉没方向"变成了五个可执行的追问。正如 handbook 2.2 的收尾所言:"当你觉得没 Idea 时,不要空想。拿出现有最好的 Baseline,问自己这五个维度的问题。任何一个现有方法在某方面的不足,都是你下一篇顶级论文的起点。" 评估时守住默认 5 分起步、数据与机制双依据、以及归因纪律这三条铁律,你得到的将不是一份玄学评审,而是一份证据驱动、可直接执行的科研决策。