如何写好一份科研任务书?Into the Unknown的task_spec.md六段式结构深度解析
如何写好一份科研任务书?Into the Unknown的task_spec.md六段式结构深度解析
Into the Unknown 是一个专门测试 AI 科研智能体(AI Scientist)能力的 benchmark:给 AI 一篇已发表论文和作者指定的后续研究方向,要求它独立"做完研究"并写出一篇诚实、完整、达到科学家标准的续作论文。项目中的每份 task_spec.md 科研任务书都采用同一套六段式结构,堪称一份可直接套用的任务书写作范本。本文以计算化学方向的 benchmark/paper1/task_spec.md 为例,逐段拆解这套结构,并总结新手写科研任务书的通用要点。
一、背景:任务书是写给"会自己干活的 AI"看的
先看 Into the Unknown 里一份完整任务由哪些文件组成:
task_spec.md—— 任务书本体,本文的主角paper.md/paper.pdf—— 原始论文的全文(文本版 + PDF),如 benchmark/paper1/paper.mdimages/—— 原论文提取出的插图- benchmark/index.csv —— 15 个任务(P1–P15)的元数据总表,含领域、发表venue、引用数、作者提出的后续方向等
任务书要解决的核心难题是:任务对象无法中途提问(任务书中明确要求 "No questions"),所以必须在开写前就把目标、边界、成功标准和红线一次性说清。这正是它的六段式结构存在的意义。
二、六段式结构总览:一份任务书的骨架
对比多个任务(如 paper15、paper7),章节标题惊人地一致,每段都在回答一个问题:
| 段落 | 章节标题 | 回答的问题 |
|---|---|---|
| 1️⃣ | Objective | 你要做什么? |
| 2️⃣ | The Problem | 这件事为什么重要? |
| 3️⃣ | Background | 你需要知道原论文的哪些东西? |
| 4️⃣ | Contract | 什么算成功?哪些不许改? |
| 5️⃣ | Evaluation | 结果如何被评判? |
| 6️⃣ | Rules | 有哪些规则与红线? |
此外还有一个收尾的 Deliverables(交付物清单),相当于附件性质的交付格式说明。
三、逐段拆解:每段该怎么写
1. Objective:一句话说清任务边界
Objective 段只有两三句话,但信息密度极高:点名原论文(HIP-NN,Lubbers, Smith, and Barros, 2018)、点名任务方向(表征分层分解在哪里失效),并明确交付性质是"实质性科学续作"。
写作要点:任务名 + 原论文出处 + 加粗的核心贡献方向,一段内说完,不展开。
2. The Problem:用真实数字说明"缺口在哪"
The Problem 段没有泛泛而谈,而是直接引用原论文数据:QP9 上平均误差 0.26 kcal/mol 看似很好,但2.3% 的分子误差超过 1 kcal/mol——长尾才是真问题。随后列出原论文"只做了相关性、没做"的四个具体问题:哪些化学结构驱动失效?信号是否校准?失效模式是否紧凑?
写作要点:好的问题段 = 原论文的已知结论 + 明确的未解缺口。缺口最好能列成可执行的问题清单。
3. Background:把原论文压缩成"可直接开工"的清单
Background 段是全文最扎实的部分,它把原论文拆成了 5 个编号的技术组件(分子表示、网络结构、分层能量回归、分层正则化、训练协议),并直接给出可对照的基准数字表(Table I 的 MAE 数值):
| 训练集规模 | 原论文报告的 MAE |
|---|---|
| 110,426 | 0.256 ± 0.003 kcal/mol |
| 50,000 | 0.354 ± 0.004 kcal/mol |
写作要点:背景段不是文献综述,而是可复现基线说明书——架构、超参数、数据切分、参考数值,全部落到"读者能照着开工"的粒度,并要求执行者先通读
paper.md。
4. Contract:把"成功"写进合同
Contract 段是整份任务书的核心,包含四个部分:
- 三条独立达标线:实质性贡献、诚实表述(Honest framing)、代码–论文一致性,三者独立检查;
- 量化成功阈值表:每个维度都分"及格线(Floor)"与"实质性成果(Substantial)"两档,例如"至少识别 3 个失效结构"是及格线,"≥5 个且跨多类化学、有机理解释"才是实质性成果;
- Held fixed(不许动的部分):化学体系限定 HCNOF、数据集锁定 QM9、训练/测试按重原子数切分(≤8 训练、=9 测试)、架构与超参数固定、禁止自行生成 DFT 数据;
- What you may design(允许自由设计的部分):失效结构识别方法、不确定性模型、校准协议都可以自选——设计空间的边界画得清清楚楚。
写作要点:成功标准必须是可核查的表格而非形容词;同时用"固定项 + 自由项"两张清单划定创新边界,避免执行者跑偏或钻空子。
5. Evaluation:评判方式先讲明,不藏规则
Evaluation 段说明评分沿两个维度:指标表现(MAE、校准误差 ECE、结构紧凑度 K)与科学价值(分析深度、机制解释)。它还规定了双基线报告——任何定量对比必须同时列出"原论文报告值"和"自己复现值",且每个数字要可追溯到具体表格(如 "Table I, row N=110,426"),并给出动机库校准曲线、Pareto 紧凑度图等必交图件的要求。
写作要点:评估段要预披露"打分卡长什么样",包括必交图表、必报指标和报告格式,执行者才不会在"交付物形态"上反复试错。
6. Rules:红线清单,预防 reward hacking
Rules 段非常值得新手学习:它先交代可用资源(code/hippynn/ 代码包、QM9/rMD17/ANI-1x 数据集、proposal/ 输出目录)和算力预算(1× H100 及优先级排序),再给出防作弊红线,例如:
- 每个定量结论必须能追溯到日志或原论文引用(Number traceability);
- 禁止选择性报告——统计支持很弱的结构也必须列出;
- 禁止硬编码参考值、禁止绕过真实计算;
- 多重假设检验必须做 Holm/Bonferroni 等族误差校正;
- "反复制"条款:做别人已发表的同一方法冒充新贡献会被严重降分。
写作要点:规则要在开工之前写满,且可逐条检查。规则越具体,"钻空子"的空间越小,评分越公平。
附:Deliverables —— 交付物清单是最后一块拼图
Deliverables 段规定交付形态:proposal/code/ 与 proposal/logs/(含逐 seed 训练日志、逐分子评估输出)、一篇 NeurIPS 风格的 LaTeX 论文(含指定的主结果表、校准图、Pareto 图、失效分析等必备章节),外加 codebase_notes.md 和 attempts_log.md 两份过程记录。它甚至要求提交前渲染 PDF 自查排版——把"验收动作"也写进了任务书。
四、新手可套用的六段式任务书写作清单
把 paper1 的经验抽象出来,写任何一份科研任务书都可以照这个清单过一遍:
- Objective 一段话:原论文出处 + 任务方向 + 核心贡献,加粗关键词;
- Problem 给缺口:用原论文的真实数字指出"它没做完什么",并列出可执行问题;
- Background 写基线:架构、数据、超参数、参考数值表,粒度到"能直接开工";
- Contract 定阈值:成功标准做成 Floor / Substantial 两档表格,并明确"固定项 vs 自由设计项";
- Evaluation 亮打分卡:评分维度、必报指标、必交图表与报告格式全部预披露;
- Rules 立红线:资源、预算、数据溯源、防作弊条款,逐条可核查。
五、在仓库里找更多任务书对照阅读
15 份任务书横跨计算化学、材料、等离子体物理、量子计算、科学机器学习等方向(见 benchmark/index.csv),六段式骨架相同但"红线"各有侧重。推荐对照阅读:
- 计算化学(篇幅最全,本文示例):benchmark/paper1/task_spec.md
- 色彩科学(实验型任务):benchmark/paper7/task_spec.md
- 量子计算(含硬件噪声约束):benchmark/paper10/task_spec.md
- 等离子体物理(仿真边界探索):benchmark/paper13/task_spec.md
把这两三份并排打开,你会发现"六段式"并不是固定模板,而是一套让开放式任务变得可评判的写作方法论——这大概就是 Into the Unknown 对"如何写好一份科研任务书"最完整的答案。