10分钟上手Into the Unknown:加载15个科研任务的快速入门教程
10分钟上手Into the Unknown:加载15个科研任务的快速入门教程
🎯 Into the Unknown 是一个面向 AI Agent 的开放式科研基准数据集:它提供 15 个真实科研任务,每个任务都给出一篇已发表(或新提交)的论文和一个由原作者提出的后续研究方向,要求 AI Agent 独立完成研究并撰写一篇诚实、完整、达到科学家标准的后续论文。本教程带你 10 分钟加载全部 15 个任务,看懂任务规格,并了解如何评测你的 Agent。
一、什么是 Into the Unknown 科研基准?
简单说,它考验的不是"回答问题",而是从零做科研:
- 输入:一篇原始论文(PDF + Markdown 全文)+ 作者本人提出的 follow-up 研究方向
- 要求:Agent 读懂论文、复现基线、开展实验、产出后续论文
- 产出:9 个主流 Agent 共产出 135 份提交,每份包含论文、完整执行轨迹和所写文件
数据集覆盖计算化学、量子计算、等离子体物理、科学机器学习等多个领域,任务分为两组:
| 分组 | 含义 | 任务范围 |
|---|---|---|
| A 组 | 2024 年及以前已发表 | P1 – P8 |
| B 组 | 2026 年新提交/未发表 | P9 – P15 |
💡 这正是它被称为 "Into the Unknown"(深入未知)的原因——连作者自己都没做过的研究,Agent 也要接着往下做。
二、快速了解数据集目录结构
数据集主体位于 benchmark/ 目录,每个任务一个独立文件夹,结构完全一致,10 秒就能摸清:
benchmark/
├── index.csv # 15 个任务的总索引
├── paper1/ # 任务 P1
│ ├── task_spec.md # 任务规格书(核心文件)
│ ├── paper.pdf # 原始论文 PDF
│ ├── paper.md # 论文全文(Markdown 版)
│ └── images/ # 论文配图
├── paper2/ … paper15/
各子集(subset)的作用如下,按需加载即可:
| 子集 | 内容 | 适合谁看 |
|---|---|---|
benchmark/ |
15 个任务本体:任务规格 + 原始论文 | 想跑任务的 Agent |
outcomes/ |
9 个 Agent 写出的后续论文(131 份 PDF) | 想研读优秀范文的人 |
trajectories/ |
每次运行的完整事件轨迹与元数据 | 做 Agent 行为分析的人 |
file_systems/ |
提交时的完整工作目录(评审视角) | 复现与审计的人 |
📌 各子集的完整说明见 README.md 的 Subsets 小节。
三、3 行代码加载 15 个科研任务
这是本教程最核心的部分——用 Hugging Face 的 datasets 库一行命令加载基准任务:
from datasets import load_dataset
tasks = load_dataset('prometheus-eval/into-the-unknown', 'benchmark', split='train')
print(tasks) # Dataset 包含 P1–P15 共 15 行任务记录
加载后的每条记录包含以下字段(与 benchmark/index.csv 列一一对应):
paper:任务 ID,P1到P15group:A(已发表)/ B(新提交)title、domain、venue、lab:论文标题、领域、期刊/会议、作者所在实验室citations:截至 2026-09-14 的被引次数follow_up_direction:作者提出的后续研究方向(任务灵魂)task_spec、paper_pdf、paper_md:任务规格与原论文的文件路径
💡 小技巧:index.csv 也可以直接用 Pandas 读取,不用下载整个数据集就能浏览全部 15 个任务:
import pandas as pd
df = pd.read_csv('benchmark/index.csv')
print(df[['paper', 'domain', 'follow_up_direction']])
四、15 个科研任务一览
下面是全部任务清单,一眼看懂基准覆盖的研究领域:
| ID | 领域 | 后续研究方向(节选) |
|---|---|---|
| P1 | 计算化学 | 用 HIP-NN 的层级分解信号定位失效模式并校准不确定性 |
| P2 | 材料科学 | 用可学习描述符替换 SNAP 双谱分量,验证跨材料迁移 |
| P3 | 计算成像 | 在统一多通道推导框架下统一 CDL 字典更新算法 |
| P4 | 科学机器学习 | 开发比 SMART 更快的 Kriging 主动实验采集策略 |
| P5 | 量子 | 让 AVQDS 兼容固定近邻量子比特拓扑 |
| P6 | 等离子体物理 | 在新有效/根本无效区域压力测试变分格点标量 QED |
| P7 | 颜色科学 | 验证感知边际递减是否由锥体通道组织 |
| P8 | 科学机器学习 | 将 P²INN 扩展为跨系数/初值/边界条件联合泛化的编码器 |
| P9 | 量子 | 用渐近资源更优的内核改进 LCHS 量子算法 |
| P10 | 量子 | 测定 AVQDS Berry 相位方法可容忍的硬件噪声上限 |
| P11 | 计算化学 | 在不牺牲质量的前提下降低 Projected Hessian 学习的随机探针需求 |
| P12 | 科学机器学习 | 将精确大规模高斯过程应用到新领域 |
| P13 | 等离子体物理 | 绘制 Vlasov 理论失效边界,定位首个失效假设 |
| P14 | 量子 | 给自旋链模型加 ZZ 相互作用,复现非线性等离子体动力学 |
| P15 | 材料科学 | 用物理原则驱动的开关函数替换 Sommerfeld 势的经验 sigmoid |
📖 完整任务列表(含论文标题、引用量、实验室)见 benchmark/index.csv。
五、读懂一份任务规格书:以 P1 为例
每个任务的 task_spec.md 都是一份"科研合同",以 benchmark/paper1/task_spec.md 为例,它按固定套路组织,帮你(或你的 Agent)快速进入研究状态:
- Objective:你到底在做什么——对 HIP-NN 的层级分解失效做实质后续研究
- The Problem:为什么重要——0.26 kcal/mol 的平均 MAE 之下,藏着 2.3% 误差超 1 kcal/mol 的"长尾"
- Background:原论文需要掌握的技术细节与可复现的基线数值(Table I、Figure 3)
- Contract:什么算成功——实质性贡献、诚实表述、代码与论文一致性三道独立门槛
- Evaluation:如何被评分——含明确的量化阈值表(如 ECE ≤ 0.05、Top-K 紧凑度等)
- Rules / Deliverables:可用资源、算力预算(1×H100)、禁止事项与交付物清单
⚠️ 给新手的提醒:任务规格书中有大量"防作弊"条款(如禁止自行生成 DFT 数据、禁止硬编码参考值、多检验校正等)。这些条款不是形式,评审会逐条检查。
每个任务的"资源包"里有什么?
以 P1 为例,工作目录中通常预置:
paper.md/paper.pdf:原始论文全文(如 benchmark/paper1/paper.md)images/:论文配图code/:可复用的开源代码包(P1 预置了 LANL 的hippynnPyTorch 实现)data/:预置数据集(如 QM9、rMD17、ANI-1x)proposal/:你的输出目录——代码、日志、最终论文report.pdf都放这里
六、进阶:运行你的 Agent 并评测结果
如果你想让自己的 Agent 参与比拼,GitHub 仓库提供了两个关键入口(命令摘自 README.md 的 Evaluation 小节):
# 1. 运行 Agent 完成某个任务
bash src/solver/run.sh <agent> <paper_id>
# 2. 用评审 Agent 判定你的提交
python src/grader/run_codex_judge.py prepare --agents <agent> # 随后 rescope、launch
想解压查看某次提交的完整工作目录(评审视角):
huggingface-cli download prometheus-eval/into-the-unknown --repo-type dataset \
--include "file_systems/astra-6/paper3/*" --local-dir .
cd file_systems/astra-6/paper3 && cat view.tar.part-* > view.tar && tar -xf view.tar
🏆 官方 leaderboard 展示每个 Agent 的全部结果与逐条评分(rubric)结论,支持在线提交你的论文接受评测。
七、新手常见问题 FAQ
Q1:我必须下载整个数据集才能开始吗?
不用。只加载 benchmark 子集即可拿到 15 个任务的全部信息;论文的完整代码与数据会由 GitHub 仓库中的 prepare_tasks.py 按需下载。
Q2:outcomes 和 trajectories 有什么用?
outcomes/ 是 9 个 Agent(如 astra-6、kimi-k3)写出的 131 篇后续论文,是最好的范文库;trajectories/ 记录 Agent 每一步事件,适合做行为分析(注意 DeepSeek-V4-Pro 的完整对话在 harness 日志包中)。
Q3:许可证需要注意什么?
任务规格、评分标准与文档遵循 Apache-2.0;benchmark/ 中的原始论文仍受原作者与出版方条款约束,仅供研究使用。详见 README.md 的 License 小节。
Q4:引用这个项目怎么写?
@article{kim2026into,
title={Into the Unknown: Benchmarking AI agents on open scientific research problems},
author={Kim, Seungone and Geng, Jiayi and others},
journal={arXiv preprint arXiv:2610.19159},
year={2026}
}
八、总结:下一步做什么?
✅ 本教程你已学会:
- 理解 Into the Unknown 的 15 个科研任务与 A/B 分组
- 用
load_dataset一行代码加载全部任务 - 读懂任务规格书的"合同式"结构与交付要求
- 运行 Agent 并走通评测流程
🚀 建议路径:先精读 benchmark/paper1/task_spec.md(P1 最经典),再挑一个感兴趣的领域(比如 P10 的量子噪声容限),用你的 Agent 跑一个任务,最后到 leaderboard 对比 9 个已有 Agent 的表现——这就是完整体验"深入未知"的第一步。