AutoResearchClaw 统计研究质量门:stat-result-validator Skill 全解析与实战清单
AutoResearchClaw 统计研究质量门:stat-result-validator Skill 全解析与实战清单
导读
本篇技术指南围绕 AutoResearchClaw 统计研究域 Agent 包中的 stat-result-validator 技能(Skill)展开,它是一套面向统计研究全链路(问题形式化 → 方法提出 → 理论分析 → 实验评估 → 对比 → 综合 → 审计)的质量门与一致性检查程序。读完本文,你将掌握:如何核对一个统计研究课题的必备工件清单、如何逐项审计问题形式化 / 方法 / 理论 / 实验 / 对比 / 最终结论六个维度、如何使用 PASS / WARN / FAIL 三态判定标准,以及该 Skill 在 stat-quality-auditor Agent 与 stat-research-orchestrator 编排流程中的实际落点。
一、Skill 定位:统计研究流水线的质量关卡
在 external/agents/stat_research_agent/README.md 中,统计研究域被明确定义为 research-first 工作流,其完整链路为:
formulate problem
-> propose method
-> analyze theory
-> evaluate experimentally
-> compare
-> synthesize results
-> audit quality
stat-result-validator 正是链条末端的"审计"环节所使用的可复用程序。它声明适用于流水线的第 10~17 与 20 阶段(applicable-stages: "10,11,12,13,14,15,16,17,20"),覆盖实验评估、对比、综合与最终审计等后期阶段,优先级为 priority: 1。其核心任务在 SKILL.md 的 description 中写得很清楚:校验统计研究产出的 问题形式化质量、方法-问题对齐度、理论存在性、实验证据、公平对比、工件完整性与最终结论一致性(formulation quality, method-to-problem alignment, theory presence, experimental evidence, fair comparison, artifact completeness, final-claim consistency)。
从 external/agents/stat_research_agent/DOMAIN_AGENT.md 的"Agent vs Skill"区分可知:Agent 是"谁来做",Skill 是"怎么做"。stat-result-validator 是 stat-quality-auditor(质量审计 Agent)直接声明的技能依赖(见 external/agents/stat_research_agent/agents/stat-quality-auditor.md 中 skills: - stat-result-validator),同时 stat-comparison-analyst(对比分析 Agent)也声明了该 Skill 作为其技能之一。
二、工件完整性检查(Artifact Checks):先看证据是否齐全
审计的第一步不是读内容,而是核对证据链是否完整。SKILL.md 规定,所有课题(all topics)都必须产出以下工件:
progress/<TOPIC_ID>/step0_problem_formulation.md
progress/<TOPIC_ID>/step1_method_proposal.md
progress/<TOPIC_ID>/step2_theory_analysis.md
progress/<TOPIC_ID>/step3_experimental_evaluation.md
progress/<TOPIC_ID>/step4_comparison.md
progress/<TOPIC_ID>/step5_result_synthesis.md
progress/<TOPIC_ID>/step6_quality_audit.md
experiments/<TOPIC_ID>/config.yaml
experiments/<TOPIC_ID>/results/metrics.json
experiments/<TOPIC_ID>/results/run_manifest.json
experiments/<TOPIC_ID>/results/comparison_summary.md
experiments/<TOPIC_ID>/results/claim_verdicts.json
experiments/<TOPIC_ID>/report/paper.md
experiments/<TOPIC_ID>/README.md
其中 <TOPIC_ID> 为课题标识符,progress/ 目录记录七个阶段的过程文档,experiments/ 目录记录实验配置、结构化结果与最终报告。分析相关的源码与原始输出由实验计划(experiment plan)决定,统一存放在 experiments/<TOPIC_ID>/src/ 与 experiments/<TOPIC_ID>/results/ 下。该工件清单与编排器在 external/agents/stat_research_agent/skills/stat-research-orchestrator/SKILL.md 中定义的一致——编排器每步等待一个 stepN_*.md 文件,审计阶段等待 progress/<TOPIC_ID>/step6_quality_audit.md。
审计要点:任何一个必需工件缺失,都属于"工件缺口"(artifact gap),应作为阻塞性问题上报;原始结果、诊断表、消融输出等课题特定工件允许按需追加,但不得替代上述必需清单。
三、问题形式化检查(Formulation Checks):目标不明即阻塞
SKILL.md 要求问题形式化(formulation)必须显式定义以下七要素:
- 观测数据与抽样机制(observed data and sampling regime):样本量、是否 iid / 依赖 / 聚类 / 删失 / 选择性抽样;
- 数据模型或数据来源(data model or data source):考虑的分布族或数据生成过程;
- 目标参数、决策、预测或风险(target parameter, decision, prediction, or risk):研究对象是什么;
- 假设(assumptions):目标可识别或方法成立所需的前提;
- 主张或假设(claims or hypotheses):要支持、反驳或判定为无结论的声明;
- 评估准则(evaluation criteria):什么指标定义成功或失败;
- 理论目标(theory targets):需要推导的性质(偏倚、方差、一致性、覆盖率、误差界、稳健性或不可行性)。
对应地,SKILL.md 列出三类阻塞性失败(blocking failures):
- 无目标或无估计量(No target or estimand)——研究问题没有明确的研究对象;
- 主张无法度量(Claims cannot be measured)——声明缺乏可操作的度量方式;
- 假设缺失或与方法不兼容(Assumptions are absent or incompatible with the proposed method);
- 评估准则不能回答研究问题(Evaluation criteria do not answer the research question)。
这与 external/agents/stat_research_agent/skills/statistical-problem-formulation/SKILL.md 的质量门槛一脉相承:一份形式化只有在"另一位研究者无需猜测目标、假设或成功准则即可实现或分析该问题"时才通过。编排器在 Step 0 也明确"若目标或假设未定义,不得继续"(见 orchestrator SKILL.md)。
四、方法检查(Method Checks):方法必须回应形式化目标
SKILL.md 要求核验以下五点:
- 提出的方法是否解决形式化定义的目标(addresses the formulated target);
- 基线是否有意义(baselines are meaningful):经典/标准方法、朴素/未调整方法、可用时的 oracle 理想参照、稳健变体;
- 消融是否隔离了关键设计选择(ablations isolate important design choices);
- 是否为可能的失败模式指定了诊断(diagnostics are specified for likely failure modes);
- 方法输出是否与指标和理论目标匹配(method outputs match the metrics and theory targets)。
从源码结构看,这套检查与 external/agents/stat_research_agent/skills/statistical-method-design/SKILL.md 的"方法-主张映射"(method-to-claim map)设计对应:每个方法必须至少连接一个主张,并声明预期证据与理论目标。因此审计方法时,本质是在核对"方法提案 → 形式化目标"这一映射是否真实成立,而不只是方法本身有没有被实现。
五、理论检查(Theory Checks):理论可以部分,但必须显式
SKILL.md 明确:理论可以是严格的,也可以是部分的,但必须显式存在(Theory may be rigorous or partial, but it must be explicit)。
检查内容:
- 定义与假设(Definitions and assumptions);
- 命题、定理、推导、反例,或明确标注的启发式分析(proposition, theorem, derivation, counterexample, or clearly labeled heuristic analysis);
- 预测的经验模式(predicted empirical patterns);
- 未覆盖的限制与情境(limitations and regimes not covered)。
阻塞性失败:
- 完全没有理论部分(No theory section at all);
- 理论分析的目标与形式化不一致(Theory analyzes a different target than the formulation);
- 最终主张强于理论所能支撑的范围(Final claims are stronger than the theory supports)。
这与理论分析技能 external/agents/stat_research_agent/skills/statistical-theory-analysis/SKILL.md 的规定一致:理论阶段"即使最终产出是模拟论文也必须存在";每个理论主张应尽可能产出可检验的经验预测(指标变化方向、方法应改进的条件、应失败的压力条件、应超越的基线)。审计时特别要注意第 3 类失败——"主张强于理论"是统计写作中最常见也是最致命的一致性缺陷。
六、实验证据检查(Experimental Evidence Checks):实验要检验主张,而非只产数字
SKILL.md 要求检查:
- 实验是否检验了形式化的主张(Experiments test the formulated claims);
- 条件是否与假设和压力测试对齐(Conditions are aligned with assumptions and stress tests);
- 提出方法、基线与消融是否在可比条件下运行(run on comparable conditions)——这是"公平对比"的实证基础;
- 失败次数是否记录(Failure counts are recorded)——失败运行必须计数,不能静默丢弃;
- 运行时间缩减是否记录在
run_manifest.json(Runtime reductions are recorded)——体现计算成本的可重复性; - 指标是否在正确的层级分组(Metrics are grouped at the right level)——指标必须映射到具体主张。
证据格式方面,external/agents/stat_research_agent/skills/statistical-experimental-evaluation/SKILL.md 定义了行式指标(row-oriented metric format):每条指标记录 claim_id、method、baseline、condition、metric、value、status 等字段;主张判定(claim verdicts)需同时连接理论与实验支持,例如:
[
{
"claim_id": "C1",
"verdict": "supported",
"theory_support": "Proposition 1 under A1-A3",
"experimental_support": "Proposed method has lower risk in conditions X-Y",
"comparison": "Outperforms baseline B on metric M",
"limitations": "Finite sample only; assumption A2 not tested"
}
]
实验评估技能的"证据规则"(Evidence Rules)与 validator 的检查项一一对应:指标必须映射到主张、对比必须在相同数据条件下进行、失败运行必须计数、运行时间缩减必须记录、结果必须对照理论预测解读。
七、对比检查(Comparison Checks):理论与实验的对话
SKILL.md 要求核验:
- 对比是否包含"提出方法 vs 基线"(Comparisons include proposed method vs baseline);
- 消融是否被解读(Ablations are interpreted),而非仅仅列出数字;
- 实验模式是否与理论预测对比(Experimental patterns are compared with theoretical predictions);
- 理论与实验的分歧是否被讨论(Disagreements between theory and experiments are discussed);
- 主张判定在可用时是否同时引用理论与实证支持(Claim verdicts cite both theoretical and empirical support when available)。
后三点强调的是:审计不只检查"有没有对比表",还要检查对比之后有没有解释。对比分析 Agent(external/agents/stat_research_agent/agents/stat-comparison-analyst.md)在发现理论与实验不一致时,会排查假设违反、有限样本效应、实现问题、重复次数不足、指标不匹配、理论仅解释渐近或理想化情境等可能原因——这些排查方向正是 validator 判断"分歧是否被认真讨论"的参照。
八、最终主张检查(Final Claim Checks):每条主张必须可溯源
这是整个 Skill 的收口环节。SKILL.md 要求:每条最终主张都必须可回溯到一条完整证据链:
formulation -> method -> theory -> experiment -> comparison
即:主张源自形式化(问题定义)、由方法承载、有理论(或明确的理论局限说明)支撑、经实验检验、并与基线/消融/理论预测做过公平对比。对应地,编排器在 external/agents/stat_research_agent/skills/stat-research-orchestrator/SKILL.md 的"关键约定"(Key Conventions)中也重申:最终结果必须把形式化、方法、理论、实验和对比连接起来。
判定采用三态标准:
| 状态 | 含义 | 触发条件 |
|---|---|---|
PASS |
可放行 | 形式化、理论、实验与对比共同支撑主张(formulation, theory, experiments, and comparisons support the claims) |
WARN |
可用但需披露 | 结果可用,但存在必须披露的局限性(usable but has limitations that must be disclosed) |
FAIL |
不可形成有效结论 | 缺少形式化、理论、证据或公平对比,无法得出有效结论(missing formulation, theory, evidence, or fair comparison prevents a valid conclusion) |
这一三态与质量审计 Agent 输出 progress/<TOPIC_ID>/step6_quality_audit.md 中的 Status: PASS / WARN / FAIL 字段直接对应(见 external/agents/stat_research_agent/agents/stat-quality-auditor.md 的 Step 6 输出规范)。
九、在流水线中的实际执行:与 stat-quality-auditor 的配合
stat-result-validator 是 stat-quality-auditor 的依赖技能。质量审计 Agent 的六步工作流(external/agents/stat_research_agent/agents/stat-quality-auditor.md)与本文所述的检查维度一一对应:
- Formulation Audit:数据模型是否显式?目标/估计量是否定义?假设是否与主张分离?评估准则是否绑定研究问题?理论目标是否点名?
- Method Audit:方法是否解决形式化问题?基线是否有意义?消融与诊断是否指定?预期失败模式是否说明?
- Theory Audit:是否有定理、推导、证明草图、可识别性论证、反例或明确标注的启发式理论?假设是否陈述?理论预测是否连接实验?局限是否清晰?
- Experiment and Comparison Audit:实验是否检验主张与理论预测?提出方法与基线是否在可比条件下评估?失败、种子、重复、折或重采样是否记录?理论与实验分歧是否讨论?
- Final Result Audit:每条最终主张是否回溯到形式化、理论与证据?无支撑的主张是否标记为"无结论"?论文是否区分证明 / 推导 / 启发式 / 经验结果?局限是否如实陈述?
- Write Audit:将审计结论写入
progress/<TOPIC_ID>/step6_quality_audit.md,包含状态、各维度检查结果、阻塞性问题、非阻塞性警告与建议修复项。
最终,质量审计 Agent 向编排器返回:状态(Status)、审计路径(Audit path)、阻塞性问题(Blocking issues)、非阻塞性警告(Non-blocking warnings)以及课题是否可提交(Whether the topic is ready to submit)。
十、实操速查:一份可直接使用的审计清单
结合 SKILL.md 与仓库配套技能,可将 validator 收敛为以下可执行清单(任一项触发即对应状态):
A. 阻塞性失败(直接判 FAIL)
- [ ] 形式化缺少目标/估计量,或主张无法度量
- [ ] 假设缺失或与提出方法不兼容
- [ ] 评估准则不回答研究问题
- [ ] 完全没有理论部分
- [ ] 理论目标与形式化目标不一致
- [ ] 最终主张强于理论/证据支撑范围
- [ ] 缺少形式化、理论、实验或公平对比(如无基线、无可比条件、失败未计数)
B. 非阻塞性警告(判 WARN 并披露)
- [ ] 理论为启发式或部分结果但未显式标注
- [ ] 有限样本下假设未检验(如 claim_verdicts.json 中 limitations 字段存在未测假设)
- [ ] 理论-实验存在分歧但已讨论成因
- [ ] 消融已执行但解读不充分
- [ ] 存在必须披露的局限性
C. 通过条件(判 PASS)
- [ ] 工件清单 14 项全部齐全
- [ ] 形式化、方法、理论、实验、对比五环可溯源成链
- [ ] 每条主张同时具备(或明确说明缺失)理论与实证支撑
结语
stat-result-validator 的核心价值在于把"这篇统计研究是否严谨"这一模糊判断,拆解为可逐条核对的工件检查与维度审计,并用 PASS / WARN / FAIL 三态给出可操作的放行决策。它在 AutoResearchClaw 统计研究域中与 stat-research-orchestrator(编排)、stat-quality-auditor(执行审计)以及问题形式化、方法设计、理论分析、实验评估、对比分析等五个配套技能共同构成完整的质量闭环。对于希望复用该机制的读者,可直接阅读 external/agents/stat_research_agent/README.md 了解域包整体结构,并对照 external/agents/stat_research_agent/skills/stat-research-orchestrator/SKILL.md 的进度文件规范落地到具体课题。