AutoResearchClaw 统计研究质量门:stat-result-validator Skill 全解析与实战清单

原创2026-09-21 17:37:111,751 阅读
文章标签:AI Agent自主智能体多智能体Agent 工作流人工智能科研AI 写作MCP 服务CLI后端知识库AI 评测

AutoResearchClaw 统计研究质量门:stat-result-validator Skill 全解析与实战清单

导读

本篇技术指南围绕 AutoResearchClaw 统计研究域 Agent 包中的 stat-result-validator 技能(Skill)展开,它是一套面向统计研究全链路(问题形式化 → 方法提出 → 理论分析 → 实验评估 → 对比 → 综合 → 审计)的质量门与一致性检查程序。读完本文,你将掌握:如何核对一个统计研究课题的必备工件清单、如何逐项审计问题形式化 / 方法 / 理论 / 实验 / 对比 / 最终结论六个维度、如何使用 PASS / WARN / FAIL 三态判定标准,以及该 Skill 在 stat-quality-auditor Agent 与 stat-research-orchestrator 编排流程中的实际落点。

一、Skill 定位:统计研究流水线的质量关卡

在 external/agents/stat_research_agent/README.md 中,统计研究域被明确定义为 research-first 工作流,其完整链路为:

formulate problem
  -> propose method
  -> analyze theory
  -> evaluate experimentally
  -> compare
  -> synthesize results
  -> audit quality

stat-result-validator 正是链条末端的"审计"环节所使用的可复用程序。它声明适用于流水线的第 10~17 与 20 阶段(applicable-stages: "10,11,12,13,14,15,16,17,20"),覆盖实验评估、对比、综合与最终审计等后期阶段,优先级为 priority: 1。其核心任务在 SKILL.md 的 description 中写得很清楚:校验统计研究产出的 问题形式化质量、方法-问题对齐度、理论存在性、实验证据、公平对比、工件完整性与最终结论一致性(formulation quality, method-to-problem alignment, theory presence, experimental evidence, fair comparison, artifact completeness, final-claim consistency)。

从 external/agents/stat_research_agent/DOMAIN_AGENT.md 的"Agent vs Skill"区分可知:Agent 是"谁来做",Skill 是"怎么做"。stat-result-validator 是 stat-quality-auditor(质量审计 Agent)直接声明的技能依赖(见 external/agents/stat_research_agent/agents/stat-quality-auditor.md 中 skills: - stat-result-validator),同时 stat-comparison-analyst(对比分析 Agent)也声明了该 Skill 作为其技能之一。

二、工件完整性检查(Artifact Checks):先看证据是否齐全

审计的第一步不是读内容,而是核对证据链是否完整。SKILL.md 规定,所有课题(all topics)都必须产出以下工件:

progress/<TOPIC_ID>/step0_problem_formulation.md
progress/<TOPIC_ID>/step1_method_proposal.md
progress/<TOPIC_ID>/step2_theory_analysis.md
progress/<TOPIC_ID>/step3_experimental_evaluation.md
progress/<TOPIC_ID>/step4_comparison.md
progress/<TOPIC_ID>/step5_result_synthesis.md
progress/<TOPIC_ID>/step6_quality_audit.md
experiments/<TOPIC_ID>/config.yaml
experiments/<TOPIC_ID>/results/metrics.json
experiments/<TOPIC_ID>/results/run_manifest.json
experiments/<TOPIC_ID>/results/comparison_summary.md
experiments/<TOPIC_ID>/results/claim_verdicts.json
experiments/<TOPIC_ID>/report/paper.md
experiments/<TOPIC_ID>/README.md

其中 <TOPIC_ID> 为课题标识符,progress/ 目录记录七个阶段的过程文档,experiments/ 目录记录实验配置、结构化结果与最终报告。分析相关的源码与原始输出由实验计划(experiment plan)决定,统一存放在 experiments/<TOPIC_ID>/src/ 与 experiments/<TOPIC_ID>/results/ 下。该工件清单与编排器在 external/agents/stat_research_agent/skills/stat-research-orchestrator/SKILL.md 中定义的一致——编排器每步等待一个 stepN_*.md 文件,审计阶段等待 progress/<TOPIC_ID>/step6_quality_audit.md。

审计要点:任何一个必需工件缺失,都属于"工件缺口"(artifact gap),应作为阻塞性问题上报;原始结果、诊断表、消融输出等课题特定工件允许按需追加,但不得替代上述必需清单。

三、问题形式化检查(Formulation Checks):目标不明即阻塞

SKILL.md 要求问题形式化(formulation)必须显式定义以下七要素:

  • 观测数据与抽样机制(observed data and sampling regime):样本量、是否 iid / 依赖 / 聚类 / 删失 / 选择性抽样;
  • 数据模型或数据来源(data model or data source):考虑的分布族或数据生成过程;
  • 目标参数、决策、预测或风险(target parameter, decision, prediction, or risk):研究对象是什么;
  • 假设(assumptions):目标可识别或方法成立所需的前提;
  • 主张或假设(claims or hypotheses):要支持、反驳或判定为无结论的声明;
  • 评估准则(evaluation criteria):什么指标定义成功或失败;
  • 理论目标(theory targets):需要推导的性质(偏倚、方差、一致性、覆盖率、误差界、稳健性或不可行性)。

对应地,SKILL.md 列出三类阻塞性失败(blocking failures):

  1. 无目标或无估计量(No target or estimand)——研究问题没有明确的研究对象;
  2. 主张无法度量(Claims cannot be measured)——声明缺乏可操作的度量方式;
  3. 假设缺失或与方法不兼容(Assumptions are absent or incompatible with the proposed method);
  4. 评估准则不能回答研究问题(Evaluation criteria do not answer the research question)。

这与 external/agents/stat_research_agent/skills/statistical-problem-formulation/SKILL.md 的质量门槛一脉相承:一份形式化只有在"另一位研究者无需猜测目标、假设或成功准则即可实现或分析该问题"时才通过。编排器在 Step 0 也明确"若目标或假设未定义,不得继续"(见 orchestrator SKILL.md)。

四、方法检查(Method Checks):方法必须回应形式化目标

SKILL.md 要求核验以下五点:

  • 提出的方法是否解决形式化定义的目标(addresses the formulated target);
  • 基线是否有意义(baselines are meaningful):经典/标准方法、朴素/未调整方法、可用时的 oracle 理想参照、稳健变体;
  • 消融是否隔离了关键设计选择(ablations isolate important design choices);
  • 是否为可能的失败模式指定了诊断(diagnostics are specified for likely failure modes);
  • 方法输出是否与指标和理论目标匹配(method outputs match the metrics and theory targets)。

从源码结构看,这套检查与 external/agents/stat_research_agent/skills/statistical-method-design/SKILL.md 的"方法-主张映射"(method-to-claim map)设计对应:每个方法必须至少连接一个主张,并声明预期证据与理论目标。因此审计方法时,本质是在核对"方法提案 → 形式化目标"这一映射是否真实成立,而不只是方法本身有没有被实现。

五、理论检查(Theory Checks):理论可以部分,但必须显式

SKILL.md 明确:理论可以是严格的,也可以是部分的,但必须显式存在(Theory may be rigorous or partial, but it must be explicit)。

检查内容:

  • 定义与假设(Definitions and assumptions);
  • 命题、定理、推导、反例,或明确标注的启发式分析(proposition, theorem, derivation, counterexample, or clearly labeled heuristic analysis);
  • 预测的经验模式(predicted empirical patterns);
  • 未覆盖的限制与情境(limitations and regimes not covered)。

阻塞性失败:

  1. 完全没有理论部分(No theory section at all);
  2. 理论分析的目标与形式化不一致(Theory analyzes a different target than the formulation);
  3. 最终主张强于理论所能支撑的范围(Final claims are stronger than the theory supports)。

这与理论分析技能 external/agents/stat_research_agent/skills/statistical-theory-analysis/SKILL.md 的规定一致:理论阶段"即使最终产出是模拟论文也必须存在";每个理论主张应尽可能产出可检验的经验预测(指标变化方向、方法应改进的条件、应失败的压力条件、应超越的基线)。审计时特别要注意第 3 类失败——"主张强于理论"是统计写作中最常见也是最致命的一致性缺陷。

六、实验证据检查(Experimental Evidence Checks):实验要检验主张,而非只产数字

SKILL.md 要求检查:

  • 实验是否检验了形式化的主张(Experiments test the formulated claims);
  • 条件是否与假设和压力测试对齐(Conditions are aligned with assumptions and stress tests);
  • 提出方法、基线与消融是否在可比条件下运行(run on comparable conditions)——这是"公平对比"的实证基础;
  • 失败次数是否记录(Failure counts are recorded)——失败运行必须计数,不能静默丢弃;
  • 运行时间缩减是否记录在 run_manifest.json(Runtime reductions are recorded)——体现计算成本的可重复性;
  • 指标是否在正确的层级分组(Metrics are grouped at the right level)——指标必须映射到具体主张。

证据格式方面,external/agents/stat_research_agent/skills/statistical-experimental-evaluation/SKILL.md 定义了行式指标(row-oriented metric format):每条指标记录 claim_id、method、baseline、condition、metric、value、status 等字段;主张判定(claim verdicts)需同时连接理论与实验支持,例如:

[
  {
    "claim_id": "C1",
    "verdict": "supported",
    "theory_support": "Proposition 1 under A1-A3",
    "experimental_support": "Proposed method has lower risk in conditions X-Y",
    "comparison": "Outperforms baseline B on metric M",
    "limitations": "Finite sample only; assumption A2 not tested"
  }
]

实验评估技能的"证据规则"(Evidence Rules)与 validator 的检查项一一对应:指标必须映射到主张、对比必须在相同数据条件下进行、失败运行必须计数、运行时间缩减必须记录、结果必须对照理论预测解读。

七、对比检查(Comparison Checks):理论与实验的对话

SKILL.md 要求核验:

  • 对比是否包含"提出方法 vs 基线"(Comparisons include proposed method vs baseline);
  • 消融是否被解读(Ablations are interpreted),而非仅仅列出数字;
  • 实验模式是否与理论预测对比(Experimental patterns are compared with theoretical predictions);
  • 理论与实验的分歧是否被讨论(Disagreements between theory and experiments are discussed);
  • 主张判定在可用时是否同时引用理论与实证支持(Claim verdicts cite both theoretical and empirical support when available)。

后三点强调的是:审计不只检查"有没有对比表",还要检查对比之后有没有解释。对比分析 Agent(external/agents/stat_research_agent/agents/stat-comparison-analyst.md)在发现理论与实验不一致时,会排查假设违反、有限样本效应、实现问题、重复次数不足、指标不匹配、理论仅解释渐近或理想化情境等可能原因——这些排查方向正是 validator 判断"分歧是否被认真讨论"的参照。

八、最终主张检查(Final Claim Checks):每条主张必须可溯源

这是整个 Skill 的收口环节。SKILL.md 要求:每条最终主张都必须可回溯到一条完整证据链:

formulation -> method -> theory -> experiment -> comparison

即:主张源自形式化(问题定义)、由方法承载、有理论(或明确的理论局限说明)支撑、经实验检验、并与基线/消融/理论预测做过公平对比。对应地,编排器在 external/agents/stat_research_agent/skills/stat-research-orchestrator/SKILL.md 的"关键约定"(Key Conventions)中也重申:最终结果必须把形式化、方法、理论、实验和对比连接起来。

判定采用三态标准:

状态 含义 触发条件
PASS 可放行 形式化、理论、实验与对比共同支撑主张(formulation, theory, experiments, and comparisons support the claims)
WARN 可用但需披露 结果可用,但存在必须披露的局限性(usable but has limitations that must be disclosed)
FAIL 不可形成有效结论 缺少形式化、理论、证据或公平对比,无法得出有效结论(missing formulation, theory, evidence, or fair comparison prevents a valid conclusion)

这一三态与质量审计 Agent 输出 progress/<TOPIC_ID>/step6_quality_audit.md 中的 Status: PASS / WARN / FAIL 字段直接对应(见 external/agents/stat_research_agent/agents/stat-quality-auditor.md 的 Step 6 输出规范)。

九、在流水线中的实际执行:与 stat-quality-auditor 的配合

stat-result-validator 是 stat-quality-auditor 的依赖技能。质量审计 Agent 的六步工作流(external/agents/stat_research_agent/agents/stat-quality-auditor.md)与本文所述的检查维度一一对应:

  1. Formulation Audit:数据模型是否显式?目标/估计量是否定义?假设是否与主张分离?评估准则是否绑定研究问题?理论目标是否点名?
  2. Method Audit:方法是否解决形式化问题?基线是否有意义?消融与诊断是否指定?预期失败模式是否说明?
  3. Theory Audit:是否有定理、推导、证明草图、可识别性论证、反例或明确标注的启发式理论?假设是否陈述?理论预测是否连接实验?局限是否清晰?
  4. Experiment and Comparison Audit:实验是否检验主张与理论预测?提出方法与基线是否在可比条件下评估?失败、种子、重复、折或重采样是否记录?理论与实验分歧是否讨论?
  5. Final Result Audit:每条最终主张是否回溯到形式化、理论与证据?无支撑的主张是否标记为"无结论"?论文是否区分证明 / 推导 / 启发式 / 经验结果?局限是否如实陈述?
  6. Write Audit:将审计结论写入 progress/<TOPIC_ID>/step6_quality_audit.md,包含状态、各维度检查结果、阻塞性问题、非阻塞性警告与建议修复项。

最终,质量审计 Agent 向编排器返回:状态(Status)、审计路径(Audit path)、阻塞性问题(Blocking issues)、非阻塞性警告(Non-blocking warnings)以及课题是否可提交(Whether the topic is ready to submit)。

十、实操速查:一份可直接使用的审计清单

结合 SKILL.md 与仓库配套技能,可将 validator 收敛为以下可执行清单(任一项触发即对应状态):

A. 阻塞性失败(直接判 FAIL)

  • [ ] 形式化缺少目标/估计量,或主张无法度量
  • [ ] 假设缺失或与提出方法不兼容
  • [ ] 评估准则不回答研究问题
  • [ ] 完全没有理论部分
  • [ ] 理论目标与形式化目标不一致
  • [ ] 最终主张强于理论/证据支撑范围
  • [ ] 缺少形式化、理论、实验或公平对比(如无基线、无可比条件、失败未计数)

B. 非阻塞性警告(判 WARN 并披露)

  • [ ] 理论为启发式或部分结果但未显式标注
  • [ ] 有限样本下假设未检验(如 claim_verdicts.json 中 limitations 字段存在未测假设)
  • [ ] 理论-实验存在分歧但已讨论成因
  • [ ] 消融已执行但解读不充分
  • [ ] 存在必须披露的局限性

C. 通过条件(判 PASS)

  • [ ] 工件清单 14 项全部齐全
  • [ ] 形式化、方法、理论、实验、对比五环可溯源成链
  • [ ] 每条主张同时具备(或明确说明缺失)理论与实证支撑

结语

stat-result-validator 的核心价值在于把"这篇统计研究是否严谨"这一模糊判断,拆解为可逐条核对的工件检查与维度审计,并用 PASS / WARN / FAIL 三态给出可操作的放行决策。它在 AutoResearchClaw 统计研究域中与 stat-research-orchestrator(编排)、stat-quality-auditor(执行审计)以及问题形式化、方法设计、理论分析、实验评估、对比分析等五个配套技能共同构成完整的质量闭环。对于希望复用该机制的读者,可直接阅读 external/agents/stat_research_agent/README.md 了解域包整体结构,并对照 external/agents/stat_research_agent/skills/stat-research-orchestrator/SKILL.md 的进度文件规范落地到具体课题。

登录后查看全文
AutoResearchClaw