为什么我们需要Into the Unknown:开放式科研是AI Agent终局的5个理由
为什么我们需要Into the Unknown:开放式科研是AI Agent终局的5个理由
为什么我们需要Into the Unknown?这是一个面向 AI Agent 的开放式科研基准(benchmark):它给出 15 个真实科研任务——每个任务是一篇已发表论文加上原作者提出的后续研究方向,Agent 必须独立做完整个研究,并写出一篇诚实、完整、达到科学家标准的后续论文。它收录了 9 个 AI Agent 的 135 份提交。今天这篇文章,将用 5 个理由讲清楚:为什么开放式科研评测,才是 AI 科学家的真正试金石。
先搞懂:Into the Unknown 是什么 🧪
15 个任务,全部来自真实论文
每个任务都是一个独立目录,例如 benchmark/paper1/,里面包含:
| 文件 | 内容 |
|---|---|
| task_spec.md | 任务说明书:目标、背景、成功标准、规则 |
| paper.pdf / paper.md | 原始论文(PDF 与纯文本) |
images/ |
论文插图 |
15 个任务横跨计算化学、量子计算、等离子体物理、科学机器学习、颜色视觉等方向,覆盖 A 组(2024 年前已发表)与 B 组(2026 年刚提交)两类。任务索引 benchmark/index.csv 里一行就包含领域、发表期刊、引用数、后续方向等字段。
9 个 Agent,135 份产出
参与评测的 Agent 包括 opus-4.8、opus-5、opus-5.5、fable-5、sol-5.6、astra-6、deepseek-v4-pro、kimi-k3、glm-5.3 共 9 个。数据集完整保留了每个 Agent 的三部分产出:写出的论文(outcomes/)、完整执行轨迹(trajectories/)、以及评审看到的全部工作目录文件(file_systems/)。
理由一:开放式科研没有"标准答案",这恰恰是考点 🎯
传统 AI 基准——数学题、选择题、代码补全——都有可判定的标准答案,Agent 一旦"见过类似的"就能刷出高分。但真实科研不是这样。
Into the Unknown 的每个任务只给方向,不给方法。以 benchmark/paper7/task_spec.md 为例,任务是验证"色彩感知的边际递减效应是否由视锥通道组织",但用什么数据结构、如何构造检验、如何下结论,全部由 Agent 自己设计。Agent 必须在模糊需求中自己做科研决策,这正是当前所有闭卷基准测不到的能力。
理由二:一个任务跑完科研全流程,端到端检验真本事 🏃
一份典型任务书(如 benchmark/paper1/task_spec.md)要求 Agent 依次完成:
- 读文献:通读原论文,理解方法与局限性;
- 设计方案:自己设计实验与评估协议;
- 写代码、跑实验:在 1×H100、16 vCPU 的计算预算内训练模型、做统计分析;
- 写论文:用 LaTeX 产出期刊风格的后续论文,包含动机、方法、结果、失败分析、局限性。
从阅读、设计、编码到写作,一个任务串起科研的完整链路。任何一环薄弱——比如代码跑不通、或者会跑但不会写论文——都无法蒙混过关。
理由三:可验证、但不允许"套模板" ✅
开放式评测最大的难题是"怎么打分"。Into the Unknown 的答案是合同式评测:任务书中明列"Held fixed(固定不变)"的约束——数据集、模型架构、训练协议、随机划分规则必须与原文一致——从而保证结果可复现、可对照;同时把方法设计、不确定性建模、校验协议全部留给 Agent 自由发挥。
更关键的是内置了一整套反刷分规则(No reward hacking):论文里的每个数字必须能追溯到日志或原文表格、禁止硬编码参考答案、禁止选择性汇报、多假设检验必须做多重比较校正……这让"作弊"在规则层面就被堵死,评测才站得住。
理由四:诚实度本身,就是考核指标 🧐
这份基准最打动人的设计,是把科研伦理写进了评分标准。每份提交要独立通过三道门槛:
- 实质性贡献:方法有新意、结果有统计支撑;
- 诚实表述(Honest framing):不确定模型失效的案例必须作为发现本身如实报告;
- 代码与论文一致:文中超参数必须与训练日志吻合。
任务书甚至专门设置了"未收敛要如实披露"条款:算力不够跑满 epoch 不算违规,隐瞒算力缺口才是违规。当评测开始奖励诚实而不是奖励漂亮数字,它测的就不是"会答题的模型",而是"能合作的科研伙伴"。
理由五:全量公开,让 AI 科研进步第一次可追踪 📈
大多数 Agent 评测只公布分数。Into the Unknown 则把 135 份提交的全部"案发现场"打包公开:每篇产出论文、完整事件轨迹(trajectories/ 中每个 agent 事件的 JSON)、甚至每个提交在工作目录里写出的原始文件。任何研究者都可以拆开某个 Agent 的某次运行,逐步复盘它何时卡住、何时跑偏、最终如何补救。
这意味着 AI 的科研能力进步第一次有了可长期追踪的"公共记录"——今天哪个 Agent 在哪个方向上失败、为什么失败,明天都能对比验证。对于研究"AI 能否做科学家"这个终极问题的人,这就是基础设施。
新手上手:三步开始探索 🚀
第一步:下载数据集(需安装 huggingface-cli 工具):
huggingface-cli download prometheus-eval/into-the-unknown --repo-type dataset --local-dir .
第二步:加载任务列表,用 datasets 库直接读入 benchmark 子集,即可拿到全部 15 个任务的元数据。
第三步:挑一个任务读起来。建议从 benchmark/paper1/task_spec.md(分子能量建模)或 benchmark/paper10/task_spec.md(量子计算中的 Berry 相噪声鲁棒性)入手,配合 outcomes/ 里各 Agent 的真实产出对照阅读,你会发现"AI 写的论文"和"AI 没做完的研究"长什么样。数据集总览详见 README.md。
写在最后:为什么这是"终局"? 🌌
聊天、写代码、做分析——AI Agent 在这些环节已经足够好用。但科学突破要求的不只是单点能力,而是在开放问题里持续做出正确判断:读什么、测什么、失败了如何面对。Into the Unknown 用 15 个真实科研任务、9 个 Agent 的 135 份完整提交证明了一件事:给 AI 一道没有标准答案的科研题,分数立刻变得诚实。
这正是我们需要开放式科研基准的原因——当评测本身像科研一样严肃、可验证、可复盘,"AI 科学家"就不再是一个口号,而是一条可以逐年测量、持续逼近的曲线。