10分钟上手Into the Unknown:加载15个科研任务的快速入门教程

原创2026-10-27 15:17:461,917 阅读

10分钟上手Into the Unknown:加载15个科研任务的快速入门教程

🎯 Into the Unknown 是一个面向 AI Agent 的开放式科研基准数据集:它提供 15 个真实科研任务,每个任务都给出一篇已发表(或新提交)的论文和一个由原作者提出的后续研究方向,要求 AI Agent 独立完成研究并撰写一篇诚实、完整、达到科学家标准的后续论文。本教程带你 10 分钟加载全部 15 个任务,看懂任务规格,并了解如何评测你的 Agent。

一、什么是 Into the Unknown 科研基准?

简单说,它考验的不是"回答问题",而是从零做科研:

  • 输入:一篇原始论文(PDF + Markdown 全文)+ 作者本人提出的 follow-up 研究方向
  • 要求:Agent 读懂论文、复现基线、开展实验、产出后续论文
  • 产出:9 个主流 Agent 共产出 135 份提交,每份包含论文、完整执行轨迹和所写文件

数据集覆盖计算化学、量子计算、等离子体物理、科学机器学习等多个领域,任务分为两组:

分组 含义 任务范围
A 组 2024 年及以前已发表 P1 – P8
B 组 2026 年新提交/未发表 P9 – P15

💡 这正是它被称为 "Into the Unknown"(深入未知)的原因——连作者自己都没做过的研究,Agent 也要接着往下做。

二、快速了解数据集目录结构

数据集主体位于 benchmark/ 目录,每个任务一个独立文件夹,结构完全一致,10 秒就能摸清:

benchmark/
├── index.csv            # 15 个任务的总索引
├── paper1/              # 任务 P1
│   ├── task_spec.md     # 任务规格书(核心文件)
│   ├── paper.pdf        # 原始论文 PDF
│   ├── paper.md         # 论文全文(Markdown 版)
│   └── images/          # 论文配图
├── paper2/ … paper15/

各子集(subset)的作用如下,按需加载即可:

子集 内容 适合谁看
benchmark/ 15 个任务本体:任务规格 + 原始论文 想跑任务的 Agent
outcomes/ 9 个 Agent 写出的后续论文(131 份 PDF) 想研读优秀范文的人
trajectories/ 每次运行的完整事件轨迹与元数据 做 Agent 行为分析的人
file_systems/ 提交时的完整工作目录(评审视角) 复现与审计的人

📌 各子集的完整说明见 README.md 的 Subsets 小节。

三、3 行代码加载 15 个科研任务

这是本教程最核心的部分——用 Hugging Face 的 datasets 库一行命令加载基准任务:

from datasets import load_dataset

tasks = load_dataset('prometheus-eval/into-the-unknown', 'benchmark', split='train')
print(tasks)   # Dataset 包含 P1–P15 共 15 行任务记录

加载后的每条记录包含以下字段(与 benchmark/index.csv 列一一对应):

  • paper:任务 ID,P1 到 P15
  • group:A(已发表)/ B(新提交)
  • title、domain、venue、lab:论文标题、领域、期刊/会议、作者所在实验室
  • citations:截至 2026-09-14 的被引次数
  • follow_up_direction:作者提出的后续研究方向(任务灵魂)
  • task_spec、paper_pdf、paper_md:任务规格与原论文的文件路径

💡 小技巧:index.csv 也可以直接用 Pandas 读取,不用下载整个数据集就能浏览全部 15 个任务:

import pandas as pd
df = pd.read_csv('benchmark/index.csv')
print(df[['paper', 'domain', 'follow_up_direction']])

四、15 个科研任务一览

下面是全部任务清单,一眼看懂基准覆盖的研究领域:

ID 领域 后续研究方向(节选)
P1 计算化学 用 HIP-NN 的层级分解信号定位失效模式并校准不确定性
P2 材料科学 用可学习描述符替换 SNAP 双谱分量,验证跨材料迁移
P3 计算成像 在统一多通道推导框架下统一 CDL 字典更新算法
P4 科学机器学习 开发比 SMART 更快的 Kriging 主动实验采集策略
P5 量子 让 AVQDS 兼容固定近邻量子比特拓扑
P6 等离子体物理 在新有效/根本无效区域压力测试变分格点标量 QED
P7 颜色科学 验证感知边际递减是否由锥体通道组织
P8 科学机器学习 将 P²INN 扩展为跨系数/初值/边界条件联合泛化的编码器
P9 量子 用渐近资源更优的内核改进 LCHS 量子算法
P10 量子 测定 AVQDS Berry 相位方法可容忍的硬件噪声上限
P11 计算化学 在不牺牲质量的前提下降低 Projected Hessian 学习的随机探针需求
P12 科学机器学习 将精确大规模高斯过程应用到新领域
P13 等离子体物理 绘制 Vlasov 理论失效边界,定位首个失效假设
P14 量子 给自旋链模型加 ZZ 相互作用,复现非线性等离子体动力学
P15 材料科学 用物理原则驱动的开关函数替换 Sommerfeld 势的经验 sigmoid

📖 完整任务列表(含论文标题、引用量、实验室)见 benchmark/index.csv。

五、读懂一份任务规格书:以 P1 为例

每个任务的 task_spec.md 都是一份"科研合同",以 benchmark/paper1/task_spec.md 为例,它按固定套路组织,帮你(或你的 Agent)快速进入研究状态:

  1. Objective:你到底在做什么——对 HIP-NN 的层级分解失效做实质后续研究
  2. The Problem:为什么重要——0.26 kcal/mol 的平均 MAE 之下,藏着 2.3% 误差超 1 kcal/mol 的"长尾"
  3. Background:原论文需要掌握的技术细节与可复现的基线数值(Table I、Figure 3)
  4. Contract:什么算成功——实质性贡献、诚实表述、代码与论文一致性三道独立门槛
  5. Evaluation:如何被评分——含明确的量化阈值表(如 ECE ≤ 0.05、Top-K 紧凑度等)
  6. Rules / Deliverables:可用资源、算力预算(1×H100)、禁止事项与交付物清单

⚠️ 给新手的提醒:任务规格书中有大量"防作弊"条款(如禁止自行生成 DFT 数据、禁止硬编码参考值、多检验校正等)。这些条款不是形式,评审会逐条检查。

每个任务的"资源包"里有什么?

以 P1 为例,工作目录中通常预置:

  • paper.md / paper.pdf:原始论文全文(如 benchmark/paper1/paper.md)
  • images/:论文配图
  • code/:可复用的开源代码包(P1 预置了 LANL 的 hippynn PyTorch 实现)
  • data/:预置数据集(如 QM9、rMD17、ANI-1x)
  • proposal/:你的输出目录——代码、日志、最终论文 report.pdf 都放这里

六、进阶:运行你的 Agent 并评测结果

如果你想让自己的 Agent 参与比拼,GitHub 仓库提供了两个关键入口(命令摘自 README.md 的 Evaluation 小节):

# 1. 运行 Agent 完成某个任务
bash src/solver/run.sh <agent> <paper_id>

# 2. 用评审 Agent 判定你的提交
python src/grader/run_codex_judge.py prepare --agents <agent>   # 随后 rescope、launch

想解压查看某次提交的完整工作目录(评审视角):

huggingface-cli download prometheus-eval/into-the-unknown --repo-type dataset \
    --include "file_systems/astra-6/paper3/*" --local-dir .
cd file_systems/astra-6/paper3 && cat view.tar.part-* > view.tar && tar -xf view.tar

🏆 官方 leaderboard 展示每个 Agent 的全部结果与逐条评分(rubric)结论,支持在线提交你的论文接受评测。

七、新手常见问题 FAQ

Q1:我必须下载整个数据集才能开始吗? 不用。只加载 benchmark 子集即可拿到 15 个任务的全部信息;论文的完整代码与数据会由 GitHub 仓库中的 prepare_tasks.py 按需下载。

Q2:outcomes 和 trajectories 有什么用? outcomes/ 是 9 个 Agent(如 astra-6、kimi-k3)写出的 131 篇后续论文,是最好的范文库;trajectories/ 记录 Agent 每一步事件,适合做行为分析(注意 DeepSeek-V4-Pro 的完整对话在 harness 日志包中)。

Q3:许可证需要注意什么? 任务规格、评分标准与文档遵循 Apache-2.0;benchmark/ 中的原始论文仍受原作者与出版方条款约束,仅供研究使用。详见 README.md 的 License 小节。

Q4:引用这个项目怎么写?

@article{kim2026into,
  title={Into the Unknown: Benchmarking AI agents on open scientific research problems},
  author={Kim, Seungone and Geng, Jiayi and others},
  journal={arXiv preprint arXiv:2610.19159},
  year={2026}
}

八、总结:下一步做什么?

✅ 本教程你已学会:

  1. 理解 Into the Unknown 的 15 个科研任务与 A/B 分组
  2. 用 load_dataset 一行代码加载全部任务
  3. 读懂任务规格书的"合同式"结构与交付要求
  4. 运行 Agent 并走通评测流程

🚀 建议路径:先精读 benchmark/paper1/task_spec.md(P1 最经典),再挑一个感兴趣的领域(比如 P10 的量子噪声容限),用你的 Agent 跑一个任务,最后到 leaderboard 对比 9 个已有 Agent 的表现——这就是完整体验"深入未知"的第一步。

登录后查看全文
into-the-unknown