Luxas 基准测试设计:已知答案+独立 Oracle 的 AI 科研智能体 A/B 评测方法论

原创2026-10-14 12:48:131,417 阅读

Luxas 基准测试设计:已知答案+独立 Oracle 的 AI 科研智能体 A/B 评测方法论

Luxas 是一个自主科研智能体(autonomous research agent),能从一个问题出发自动完成文献阅读、实验设计与 LaTeX 报告编译。但它产出的报告质量如何量化?本文拆解 Luxas 的 A/B 基准测试方法论——"已知答案 + 独立 Oracle"设计,看它如何用确定性锚点替代主观评分。

为什么 AI 科研智能体评测难?

大模型时代评估科研产出,最常见的问题是评分者本身不可靠。Luxas 团队在调研笔记 notes/survey-automated-research-2026-08-29.md 中总结了一条行业教训:

凡是让"搜索者给自己打分"的系统(如自我批评锦标赛),其结果都无法通过外部评估;凡是有真实结果的系统,都拥有一个搜索者无法篡改的评估者。

这正是 LLM-as-judge 类评测的固有弱点:多智能体辩论常常退化成"一个模型给另一个模型打分"。Luxas 的解法很朴素——不用评委,用答案。

核心设计规则:Known answer, Independent Oracle

打开基准测试目录总览 benchmarks/README.md,只有一句话的设计规则:

每个任务都是 Luxas 已经在生产中回答过的问题,且当时用两种独立方法交叉验证并达成一致(答案记录在任务旁的 ORACLE.md 里)。报告好不好,不取决于它"读起来如何",而取决于其头条数字是否落在 Oracle 上。

这个设计有三个关键取舍:

  • 免费的外部校验:Oracle 是预先存在的,评测不需要再雇一个"更强的模型"当裁判;
  • 任务刻意覆盖三种不同能力:某次 prompt 改动可能改善一种能力却伤害另一种,此时投票会呈现"分裂"而非噪声,信号更清晰;
  • 没有 PDF 的跑测等于零:一边跑不出报告,该 bench 就贡献不了任何信息,所以所有任务都被控制在 runner 的 40 分钟上限内完成。

四个基准任务:能力矩阵一览

Bench 测试的能力 Oracle 锚点
bench-01-u233-gamow 数值物理 + 数据库校准 G ≈ 42.6(WKB ↔ Viola-Seaborg,仅差 0.2%)
bench-02-rb-blockade-leakage 第一性原理双原子相互作用 + 解析/数值对照 p₂(r₀) 解析 0.248 vs TDSE 0.39——一个需要被解释而非抹平的已知分歧
bench-03-ftqc-ccz-conflict 文献矛盾裁决,无新计算 两个"看似可直接比较"的公开指标,实为不可比
bench-04-prior-art-positioning 检索与归因(retrieval & attribution) 不评物理本身,只评能否找到并引用已有文献

Luxas 自主科研智能体 A/B 基准测试的最终产物:编译好的科学报告 PDF 首页

每个 bench 目录里只有两个文件:

  • RESEARCH.md——逐字保留的原始用户请求(示例),是"用户到底问了什么"的地面真值;
  • ORACLE.md——生产运行的已知答案 + 评分细则。

Oracle 评分细则:不止数字对,证据等级也要对

这是整个方法论里最值得借鉴的部分。以 bench-01 的 Oracle 为例,评分不是"数字落在 42.6 附近就满分",而是三级判据:

  • ✅ 满分:G 落在 42.6 的 ±2% 内,且报告里的两种方法真正独立(不是把 WKB 跑两遍换个名字);
  • ⚠️ 弱报告:G 正确,但交叉验证只是"同一计算换个标签",或 Q 值没标数据库出处——数字对了,证据等级错了;
  • ❌ 明确扣分:漏掉离心势项的朴素 WKB 会得到 G ≈ 40.2,落在这一点的报告是跳过了题目明确要求的一项。

bench-02 更绝:它的 Oracle 本身是一个已记录的矛盾(0.248 vs 0.39)。评测的是报告能否发现并解释这个 1.6 倍分歧,而不是把两个数字抹平。bench-03 的 评分细则 则规定"任何无法溯源到论文具体表格的数字都算捏造——去查引用"。

💡 一句话总结:Oracle 不只锚定"答案是什么",还锚定"好的证据长什么样、失败的报告怎么失败"。

Luxas 科研报告基准中的打包增益曲线与交叉验证图

A/B 盲测闭环:从提案到投票的完整流水线

这套 benchmark 服务于 Luxas 的元智能体进化循环:reflect 元智能体会周期性提出"修改 agent 提示词"的提案(meta/pending 分支),提案必须通过 A/B 盲测才能合并。完整链路是:

  1. 触发:scripts/reflect_harness.mts 在 git worktree 中运行 reflect 智能体,检测到定义文件有 diff 就提交到 meta/pending 并触发 A/B;
  2. 跑测:scripts/reflect_ab.mts 对 main 与 meta/pending 各建一个 worktree,每个 bench 每边跑 AB_REPLICATES 次副本(失败即重试,只保留首个成功 PDF),单次运行有 40 分钟和成本双上限;
  3. 盲化:两个 PDF 被随机命名为 A.pdf / B.pdf,真实归属写入隐藏文件 .assign.json——用户看到的是盲的;
  4. 投票:PDF 落入收件箱,用户读完两份报告、对照 ORACLE.md 核对头条数字后,在 VOTE.md 写下 choice: a|b|tie;
  5. 合并:scripts/feedback_daemon.mts 守护进程监听 VOTE.md,收到有效投票后自动合并或丢弃提案,并累计投票计数器。

如果某边全部副本失败,系统会降级为"仅凭 PROPOSAL.md 合理性投票",并明确告知用户 A/B 已被跳过(降级逻辑),绝不静默丢失信号。

防作弊设计:三层 Blinding 避免过拟合

最容易被忽略的是"评委"与"出题人"的隔离。reflect 智能体的定义 列出了硬性不变量,其中三层与 benchmark 直接相关:

  • 提案者永远读不到 benchmark 内容("You never read benchmark contents")——防止针对具体题目过拟合;
  • 提案者永远不评判自己的产出——它只输出"提案",A/B 投票用户是唯一的质量信号;
  • 提案者读不到自己历史的 accept/reject 记录——每次调用对"用户偏好"无状态,防止 Goodhart 式地迎合"用户倾向批准什么"。

换句话说:出题(benchmark)、改题(reflect)、判卷(用户 + Oracle)三者物理隔离。

回归门禁:防止基准语料悄悄烂掉

一个有趣的工程细节:scripts/smoke_benchmarks_discovery.mts 这个冒烟测试的存在,是因为 2026-08-23 之前 benchmarks/ 目录根本不存在——reflect_ab 走了"无基准"分支静默退出,整个盲测循环从未真正跑过一次,所有投票都退化为仅凭理由投票。

之后这道门禁把语料完整性变成了可测试的断言:

  • 至少 3 个 bench("少于此数,分裂投票没有意义");
  • 每个 bench 必须同时有 RESEARCH.md(发现键)和 ORACLE.md(已知答案);
  • RESEARCH.md 必须含 ## Original Request 块,且请求有界(提及 short report / one figure 等);
  • ORACLE.md 必须含 ## How to score 评分细则,且引用生产运行来源;
  • runner 必须向每次副本传递 --max-cost 成本上限。

教训:评测基础设施本身也需要回归测试——"门禁坏了但没人知道"是最危险的失效模式。

如何添加你自己的 Benchmark

benchmarks/README.md 给出的扩展规则只有一行:

复制一个现有目录。把请求收窄到 40 分钟内能完成,并用两种方法 + 一条引文记录 Oracle。没有 Oracle 的 bench 只是 prompt 对比。

这条标准值得所有 AI Agent 评测项目抄作业:任务要窄到可复现,答案要有两个独立来源互相印证,评分细则要能区分"数字对但证据等级错"的伪通过。

小结

Luxas 的基准测试方法论可以压缩成四条:

  1. 已知答案:用系统自己生产过的、双方法交叉验证过的问题当考题;
  2. 独立 Oracle:锚点独立于报告质量感知,评分细则区分证据等级;
  3. 盲测 A/B:随机化命名 + 用户投票 + 守护进程自动合并,提案者全程看不到题目与自己的历史;
  4. 门禁回归:把"基准语料是否完好"本身做成可执行的测试。

它不追求花哨的指标体系,而是把"评测者不可被讨好"这条硬约束落进了目录结构、分支流程和守护进程里——这正是它相对 LLM-as-judge 路线最扎实的地方。

登录后查看全文
luxas