如何写好一份科研任务书?Into the Unknown的task_spec.md六段式结构深度解析

原创2026-10-27 16:21:171,951 阅读

如何写好一份科研任务书?Into the Unknown的task_spec.md六段式结构深度解析

Into the Unknown 是一个专门测试 AI 科研智能体(AI Scientist)能力的 benchmark:给 AI 一篇已发表论文和作者指定的后续研究方向,要求它独立"做完研究"并写出一篇诚实、完整、达到科学家标准的续作论文。项目中的每份 task_spec.md 科研任务书都采用同一套六段式结构,堪称一份可直接套用的任务书写作范本。本文以计算化学方向的 benchmark/paper1/task_spec.md 为例,逐段拆解这套结构,并总结新手写科研任务书的通用要点。

一、背景:任务书是写给"会自己干活的 AI"看的

先看 Into the Unknown 里一份完整任务由哪些文件组成:

  • task_spec.md —— 任务书本体,本文的主角
  • paper.md / paper.pdf —— 原始论文的全文(文本版 + PDF),如 benchmark/paper1/paper.md
  • images/ —— 原论文提取出的插图
  • benchmark/index.csv —— 15 个任务(P1–P15)的元数据总表,含领域、发表venue、引用数、作者提出的后续方向等

任务书要解决的核心难题是:任务对象无法中途提问(任务书中明确要求 "No questions"),所以必须在开写前就把目标、边界、成功标准和红线一次性说清。这正是它的六段式结构存在的意义。

二、六段式结构总览:一份任务书的骨架

对比多个任务(如 paper15、paper7),章节标题惊人地一致,每段都在回答一个问题:

段落 章节标题 回答的问题
1️⃣ Objective 你要做什么?
2️⃣ The Problem 这件事为什么重要?
3️⃣ Background 你需要知道原论文的哪些东西?
4️⃣ Contract 什么算成功?哪些不许改?
5️⃣ Evaluation 结果如何被评判?
6️⃣ Rules 有哪些规则与红线?

此外还有一个收尾的 Deliverables(交付物清单),相当于附件性质的交付格式说明。

六段式科研任务书结构示意

三、逐段拆解:每段该怎么写

1. Objective:一句话说清任务边界

Objective 段只有两三句话,但信息密度极高:点名原论文(HIP-NN,Lubbers, Smith, and Barros, 2018)、点名任务方向(表征分层分解在哪里失效),并明确交付性质是"实质性科学续作"。

写作要点:任务名 + 原论文出处 + 加粗的核心贡献方向,一段内说完,不展开。

2. The Problem:用真实数字说明"缺口在哪"

The Problem 段没有泛泛而谈,而是直接引用原论文数据:QP9 上平均误差 0.26 kcal/mol 看似很好,但2.3% 的分子误差超过 1 kcal/mol——长尾才是真问题。随后列出原论文"只做了相关性、没做"的四个具体问题:哪些化学结构驱动失效?信号是否校准?失效模式是否紧凑?

写作要点:好的问题段 = 原论文的已知结论 + 明确的未解缺口。缺口最好能列成可执行的问题清单。

3. Background:把原论文压缩成"可直接开工"的清单

Background 段是全文最扎实的部分,它把原论文拆成了 5 个编号的技术组件(分子表示、网络结构、分层能量回归、分层正则化、训练协议),并直接给出可对照的基准数字表(Table I 的 MAE 数值):

训练集规模 原论文报告的 MAE
110,426 0.256 ± 0.003 kcal/mol
50,000 0.354 ± 0.004 kcal/mol

写作要点:背景段不是文献综述,而是可复现基线说明书——架构、超参数、数据切分、参考数值,全部落到"读者能照着开工"的粒度,并要求执行者先通读 paper.md。

4. Contract:把"成功"写进合同

Contract 段是整份任务书的核心,包含四个部分:

  • 三条独立达标线:实质性贡献、诚实表述(Honest framing)、代码–论文一致性,三者独立检查;
  • 量化成功阈值表:每个维度都分"及格线(Floor)"与"实质性成果(Substantial)"两档,例如"至少识别 3 个失效结构"是及格线,"≥5 个且跨多类化学、有机理解释"才是实质性成果;
  • Held fixed(不许动的部分):化学体系限定 HCNOF、数据集锁定 QM9、训练/测试按重原子数切分(≤8 训练、=9 测试)、架构与超参数固定、禁止自行生成 DFT 数据;
  • What you may design(允许自由设计的部分):失效结构识别方法、不确定性模型、校准协议都可以自选——设计空间的边界画得清清楚楚。

写作要点:成功标准必须是可核查的表格而非形容词;同时用"固定项 + 自由项"两张清单划定创新边界,避免执行者跑偏或钻空子。

5. Evaluation:评判方式先讲明,不藏规则

Evaluation 段说明评分沿两个维度:指标表现(MAE、校准误差 ECE、结构紧凑度 K)与科学价值(分析深度、机制解释)。它还规定了双基线报告——任何定量对比必须同时列出"原论文报告值"和"自己复现值",且每个数字要可追溯到具体表格(如 "Table I, row N=110,426"),并给出动机库校准曲线、Pareto 紧凑度图等必交图件的要求。

写作要点:评估段要预披露"打分卡长什么样",包括必交图表、必报指标和报告格式,执行者才不会在"交付物形态"上反复试错。

6. Rules:红线清单,预防 reward hacking

Rules 段非常值得新手学习:它先交代可用资源(code/hippynn/ 代码包、QM9/rMD17/ANI-1x 数据集、proposal/ 输出目录)和算力预算(1× H100 及优先级排序),再给出防作弊红线,例如:

  • 每个定量结论必须能追溯到日志或原论文引用(Number traceability);
  • 禁止选择性报告——统计支持很弱的结构也必须列出;
  • 禁止硬编码参考值、禁止绕过真实计算;
  • 多重假设检验必须做 Holm/Bonferroni 等族误差校正;
  • "反复制"条款:做别人已发表的同一方法冒充新贡献会被严重降分。

写作要点:规则要在开工之前写满,且可逐条检查。规则越具体,"钻空子"的空间越小,评分越公平。

附:Deliverables —— 交付物清单是最后一块拼图

Deliverables 段规定交付形态:proposal/code/ 与 proposal/logs/(含逐 seed 训练日志、逐分子评估输出)、一篇 NeurIPS 风格的 LaTeX 论文(含指定的主结果表、校准图、Pareto 图、失效分析等必备章节),外加 codebase_notes.md 和 attempts_log.md 两份过程记录。它甚至要求提交前渲染 PDF 自查排版——把"验收动作"也写进了任务书。

四、新手可套用的六段式任务书写作清单

把 paper1 的经验抽象出来,写任何一份科研任务书都可以照这个清单过一遍:

  1. Objective 一段话:原论文出处 + 任务方向 + 核心贡献,加粗关键词;
  2. Problem 给缺口:用原论文的真实数字指出"它没做完什么",并列出可执行问题;
  3. Background 写基线:架构、数据、超参数、参考数值表,粒度到"能直接开工";
  4. Contract 定阈值:成功标准做成 Floor / Substantial 两档表格,并明确"固定项 vs 自由设计项";
  5. Evaluation 亮打分卡:评分维度、必报指标、必交图表与报告格式全部预披露;
  6. Rules 立红线:资源、预算、数据溯源、防作弊条款,逐条可核查。

五、在仓库里找更多任务书对照阅读

15 份任务书横跨计算化学、材料、等离子体物理、量子计算、科学机器学习等方向(见 benchmark/index.csv),六段式骨架相同但"红线"各有侧重。推荐对照阅读:

把这两三份并排打开,你会发现"六段式"并不是固定模板,而是一套让开放式任务变得可评判的写作方法论——这大概就是 Into the Unknown 对"如何写好一份科研任务书"最完整的答案。

登录后查看全文
into-the-unknown