如何从零跑通 Into the Unknown 评测流水线:run.sh 与 LLM Judge 实战教程
如何从零跑通 Into the Unknown 评测流水线:run.sh 与 LLM Judge 实战教程
Into the Unknown 是一个测试 AI Agent 开放式科研能力的基准数据集:每个任务给 Agent 一篇已发表论文和原作者提出的后续研究方向,Agent 要独立完成研究并写出达到科学家标准的后续论文。本教程带你从零开始,用两条命令跑通完整评测流水线:run.sh 运行 Agent 解题,LLM Judge(run_codex_judge.py)对产出论文打分。
说明:本文所有命令与文件路径均来自仓库 README.md 的官方说明;数据集本身位于
benchmark/目录。
15 个科研任务长什么样
数据集 benchmark/ 包含 15 个任务(P1–P15),覆盖计算化学、材料科学、量子、等离子体物理、科学机器学习等领域。每个任务目录结构完全一致:
| 文件 | 作用 |
|---|---|
| task_spec.md | 任务合同:目标、背景、成功标准、评分规则 |
| paper.md | 原论文的全文文本版,供 Agent 精读 |
paper.pdf |
原论文 PDF(含图表) |
images/ |
从原论文提取的图片 |
以 benchmark/paper1/task_spec.md 为例:任务要求 Agent 在 HIP-NN 分子能量模型基础上,刻画层级分解在哪里失效、找出导致失效的化学基团(motif),并构建一个校准良好的不确定性模型。注意任务合同中明确写了「不许提问、不许跑新的 DFT 计算、不许硬编码参考答案」等防作弊条款——这就是科研 Agent 评测与跑分脚本评测的本质区别。
任务清单可在 benchmark/index.csv 中查看全部 15 行的元数据(任务 ID、领域、会议、被引量、后续研究方向、各文件路径),例如 P1 行:
P1,A,Hierarchical modeling of molecular energies using a deep neural network,Computational chemistry,J. Chem. Phys.,428,LANL,...
一键安装步骤:克隆仓库与环境准备
- 克隆仓库(只需一次):
git clone https://gitcode.com/hf_mirrors/prometheus-eval/into-the-unknown
cd into-the-unknown
- 安装依赖:代码仓库中按提示安装 Python 环境;各任务所需的代码与数据(如 P1 的
code/hippynn与data/qm9)由仓库中的prepare_tasks.py下载预置,无需手工搬运。 - 准备一个 Agent 运行环境(即你的解题模型 + 工具),并配置好 API 凭据。
💡 新手提示:不必读完每篇原论文,先通读 task_spec.md 的 Contract 与 Deliverables 两节即可理解「做什么」与「交什么」。
最快配置方法:用 run.sh 运行一个 Agent
README 给出了运行 Agent 的标准命令:
bash src/solver/run.sh <agent> <paper_id>
例如用 Agent astra-6 做任务 P3(计算成像方向):
bash src/solver/run.sh astra-6 P3
运行结束后,Agent 会在约定的工作目录中产出完整提交物,典型结构如下(以 paper1 任务合同 的 Deliverables 一节为准):
proposal/report.tex/report.pdf—— 最终写出的后续论文(Judge 读的就是它)proposal/code/、proposal/logs/—— 代码与逐 seed 训练日志proposal/codebase_notes.md、proposal/attempts_log.md—— 调研记录与弃用方案日志
LLM Judge 评测三步走
Agent 交卷后,由 LLM Judge 依据每任务自带的评分量规(rubric)独立打分。README 中给出的评测入口是:
python src/grader/run_codex_judge.py prepare --agents <agent>
然后按提示执行 rescope 与 launch 两步,即完整流水线:
- prepare:解析该 Agent 的所有提交,生成待评任务清单;
- rescope:按量规把每个提交的评审范围圈定到具体论断与文件;
- launch:启动 LLM Judge 逐条给出 verdict(通过/未通过 + 理由)。
以 paper1 的任务合同 为例,Judge 会独立核查三道门槛:实质性贡献(是否识别出失效 motif 且不确定性模型经过校准)、诚实表述(统计支撑是否如实报告)、代码-论文一致性(论文中描述的网络结构与日志是否吻合)。任何数字必须能追溯到日志或原论文的具体表格,否则会被标记。
提交物如何被存档:四个数据集子集
评测完成后,你的论文、完整轨迹与产出文件会归档为数据集的四个子集(见 README.md):
| 子集 | 内容 |
|---|---|
benchmark/ |
15 个任务的材料(本教程主舞台) |
outcomes/ |
各 Agent 写出的论文 PDF |
trajectories/ |
每次运行的元数据与全部 Agent 事件(*.json)、运行器日志 |
file_systems/ |
Judge 视角看到的提交文件原貌(view.tar + manifest.json) |
官方榜单(leaderboard)展示每个 Agent 在每个任务上的结果与每条量规 verdict,你可以把自己的 Agent 论文提交上去接受同一套 LLM Judge 评测。
新手常见问题 FAQ
Q1:跑一个任务要花多久? A:任务合同规定了硬件预算(如 P1 为 1×H100 80GB、16 vCPU、128GB 内存、500GB 磁盘,见 paper1 合同 的 Compute budget 一节),实际耗时取决于模型训练规模,通常以小时计。
Q2:为什么有的任务没有 task_spec.md 或论文是空的?
A:benchmark/ 子集只含任务材料;各任务的代码与数据由 prepare_tasks.py 单独下载。若某个二进制文件(PDF、图片)内容异常,多为 Git LFS 指针未拉取,执行 git lfs pull 即可。
Q3:可以只做一部分任务吗?
A:可以。run.sh 的第二个参数就是任务 ID,从 P1 开始单任务试跑是验证环境最快的方式。
Q4:评测只靠 LLM Judge 吗? A:Judge 负责按量规给出语义层面的 verdict;任务合同中的「防奖励作弊」检查(如数字可追溯、双基线完整性、训练/测试切分完整性)由量规条目逐条核对,属于 Judge 评审范围的一部分。
参考资料
- 数据集说明与评测命令:README.md
- 任务总表:benchmark/index.csv
- 示例任务合同:benchmark/paper1/task_spec.md
- 版权许可:LICENSE(任务规格与量规遵循代码仓库的 Apache-2.0 许可)
