科研自动化又添一员:paper-orchestra 撞上「编排热」的窗口期
科研自动化又添一员:paper-orchestra 撞上「编排热」的窗口期
「让 AI 写论文」这件事,过去两年一直卡在一个尴尬的位置:模型能写出通顺的段落,却写不出一篇能编译、能投稿、引用不造假的稿子。真正的瓶颈从来不是文笔,而是编排——谁去查文献、谁去画图、谁负责核对实验数字、谁来当审稿人、改稿改到什么时候停。
paper-orchestra 是 Google Cloud AI Research 放出的一个多智能体框架,作者为 Yiwen Song、Yale Song、Tomas Pfister、Jinsung Yoon,采用 Apache-2.0 协议,正文开头就写明「not an officially supported Google product」。它做的事情很具体:输入一份 idea.md 加一份 experimental_log.md,输出一份能编译的、符合目标会议模板的 PDF 投稿稿。
它出现的时间点很有意思。过去一年,编排这个词从后端工程圈一路烧到了 Agent 圈:AOrchestra 在讲「按需实例化子智能体」,UltraRAG 在讲「几十行 YAML 编排 RAG 管线」,SwarmBench 在讲「怎么给编排器打分」,还有 NIPS 2025 的工作在讲「让协作拓扑自己进化」。在这股热潮里,paper-orchestra 是一个罕见的产物导向样本——它不关心编排本身是否优雅,只关心最后那份 PDF 能不能过。
这篇文章做三件事:拆开它的真实实现,把它放回同赛道的坐标里排个位,然后回答一个更实际的问题——这类项目的窗口期还剩多久。
一、先看清楚它到底是什么
本地仓库的体量很小:methods/、utils/、autoraters/、frontend/ 四个目录加起来约 8000 行 Python,整个仓库 5.4 MB,Git 历史里只有一个提交。这意味着它不是长期演进的工程产品,而是一篇论文的配套代码。
它的主流程写在 methods/paper_writer.py 的 write_single_paper() 里,是一个相当清晰的四段式:
Step 1,Outline Agent。 methods/agents/outline_agent.py 只有 60 行,把四份材料(idea、实验日志、template.tex、guidelines.md)拼成一次多模态请求,输出一个 JSON。这个 JSON 是整个系统的中枢,包含三个顶层键:plotting_plan、intro_related_work_plan、section_plan。换句话说,大纲不是给人看的目录,而是给下游三个 agent 的施工图。
Step 2,文献与配图并行。 这是仓库里最容易被忽略、但工程上最讲究的一处设计。methods/paper_writer_with_plotting.py 用 ThreadPoolExecutor(max_workers=2) 同时跑 HybridLiteratureAgent 和 PlottingAgent,两者互不依赖,只共享同一个 outline.json。文献 agent 耗时受 API 限流约束,绘图 agent 耗时受图像模型约束,并行能省下接近一半的墙钟时间。
Step 3,Section Writing Agent。 methods/agents/section_writing_agent.py 接手的是一份「半成品模板」——Introduction 和 Related Work 已经被文献 agent 填好,其余章节留空。它的任务只有一句:不要改动已有文字,把缺的部分补齐,并按 experimental_log.md 造表、按 figures/info.json 插图和写 caption。
Step 4,迭代精炼。 methods/agents/content_refinement_agent.py 是全文最长的一个文件(593 行),也是这套系统真正的「品味」所在。它先把草稿编译成 PDF,模拟审稿人打分,再让模型根据反馈改稿,最多 3 轮;之后切到一条独立的排版循环,用视觉模型看渲染后的页面截图挑版式问题。
批处理入口 run_batch_writeup() 还支持 ProcessPoolExecutor(max_workers=4) 并行处理多篇论文,并用 paper_writing_log.json 记录每篇的状态,重启时自动跳过已完成的——这是研究代码里少见的、认真考虑了「跑一半挂了怎么办」的细节。
二、同赛道排个位:四种切入角度
把近期这些项目放在一张桌子上,会发现它们压根不在同一个赛道,只是共用了「编排」这个词。
| 项目 | 切入角度 | 交付物 | 对 paper-orchestra 的威胁 |
|---|---|---|---|
| AOrchestra | 运行时动态实例化子智能体,四元组(Instruction/Context/Tools/Model)抽象,编排与执行解耦 | 一个通用 Agentic 框架 | 中:方法论可借鉴,但不碰科研场景 |
| UltraRAG | MCP 架构 + YAML 低代码编排 + 可视化 IDE,画布与代码双向同步 | 一个 RAG 开发框架 | 低:解决的是检索管线,不是成稿 |
| SwarmBench | 首个面向 Swarm 编排器的多维评测基准,拆成任务分解、委派、聚合 | 一套评测协议 | 高:它定义了「怎么证明编排有效」 |
| 多智能体进化编排(NIPS 2025) | 把协作拓扑建模成可进化染色体,用 LLM 驱动变异搜索最优结构 | 一个优化方法 | 中:长期会替代手写流水线 |
| ARIS | 再投与会议报告的硬约束编排(不跑新实验、不改 bib、不改框架) | 科研工作流 | 高:同为科研垂直,但更偏流程合规 |
| paper-orchestra | 五 agent 流水线 + 双层评审回路 | 一份投稿级 LaTeX PDF | — |
排完位可以看出一个结构性差异:AOrchestra、UltraRAG、SwarmBench 卖的是「编排能力」,paper-orchestra 卖的是「编排结果」。
这个差别不是修辞。能力型项目可以横向扩张,今天编排 RAG,明天编排数据分析;产物型项目一旦把交付物钉死在「符合 CVPR 模板的 8 页 PDF」上,它的价值就完全依赖于这个交付物在真实评审里能不能站住。好处是护城河立刻变得清晰——它必须处理 LaTeX 编译、参考文献格式、双盲匿名、图表溢出这些又脏又碎的活,这些活通用编排框架一件都不会替它做。坏处是天花板也清晰:它只能写论文。
顺带说一句,同样是科研垂直,paper-orchestra 和 ARIS 走的是两条路。ARIS 的硬约束是「不许动实验、不许动 bib」,本质是把已有论文安全地搬到另一个 venue;paper-orchestra 是从零生成。前者在防守,后者在进攻,两者短期内不冲突。
三、通用编排与科研专用编排,分界线在哪
如果只看流程图,paper-orchestra 和任何一个多智能体 demo 没有本质区别:串行节点、并行分支、一个 critic 回路。真正的分界线藏在三处代码里。
第一条:真值边界
在通用编排里,「任务完成」是个可接受的成功标准。在科研写作里,数字错一位就是学术不端。
ContentRefinementAgent 的改稿提示词把所有输入材料标了性质:
--- CONFERENCE GUIDELINES ---
--- EXPERIMENTAL LOG (Data Truth) ---
--- CITATION MAP (Reference Truth) ---
--- CURRENT LATEX SOURCE ---
Data Truth 和 Reference Truth 这两个标签不是装饰。它意味着模型被明确告知:实验日志里的数字是唯一可引用的事实源,citation map 里的条目是唯一可引用的文献源,两者之外的一切都是可疑的。
更狠的一招在 utils/prompt_utils.py,一个被拼接到所有 agent 系统提示词末尾的 UNIVERSAL_NO_LEAKAGE_PROMPT:
You MUST write this paper as if you have no prior knowledge of the topic, method, experiments, or results... You MUST NOT: Retrieve or rely on knowledge from your training data.
这是一种反直觉的设计。所有人都在想办法给模型加知识,这里却在主动把模型的知识面砍掉,只允许它从当前会话提供的材料里做逻辑推理。原因很实在:论文写作场景下,模型的「博学」恰恰是最危险的属性——它会顺手补上一个看起来很合理的 baseline 数字,而这个数字根本不存在。
同一个 prompt 里还写了匿名要求:不得推断作者身份、机构、致谢,不得出现 corresponding author 这类短语。这把双盲合规从「事后检查」变成了「生成时约束」。
第二条:时间边界
research_cutoff 这个参数贯穿了整条链路。CLI 里它的默认值是当前年月:
if args.research_cutoff is None:
args.research_cutoff = datetime.now().strftime("%Y-%m")
它被送进 Outline Agent 的系统提示词("Do not instruct searches for any papers published after {cutoff_date}"),也被送进 Semantic Scholar 的检索过滤。过滤逻辑在 utils/scholar_utils.py 里做得相当细,精确到月:
def is_date_valid(p_date, p_year, cutoff_str):
c_year, c_month = map(int, cutoff_str.split("-"))
cutoff_dt = datetime.datetime(c_year, c_month, 1)
if p_date:
p_dt = datetime.datetime.strptime(p_date, "%Y-%m-%d")
return p_dt < cutoff_dt
...
这个设计的意义常被低估。它让整条流水线具备「时间机器」属性:你可以把 cutoff 设成 2024-11,让系统只用 2024 年 11 月之前的文献写稿,然后拿真实论文做对照实验。没有这个参数,所有「AI 写作质量」的评测都会因为数据泄漏而失效。 通用编排框架不会内置时间语义,因为它们的任务里没有「未来」这个概念。
第三条:可验收边界
科研写作最难的不是写,是判断「改得更好还是更坏」。这里 paper-orchestra 用了两层完全不同的验收机制。
第一层是内容层,靠 autoraters/agent_review.py。它借用了 AgentReview 的评审人设定(knowledgeable / responsible / benign 三种人格),默认 3 个 reviewer 集成,温度 0.75,再由一个 meta-reviewer 汇总。评分轴包括 Originality、Quality、Clarity、Significance、Soundness、Presentation、Contribution,以及 1–10 的 Overall。
第二层是接受逻辑,写在 ContentRefinementAgent.run() 里,是一个显式的三态判断:
- Overall 上升 → 接受,进入下一轮;
- Overall 下降 → 回滚到上一版并直接终止,不再浪费 token;
- Overall 持平 → 看子维度,如果
total_drop > total_gain则拒绝并终止,否则接受继续。
elif new_metrics["Overall"] < old_metrics["Overall"]:
print(" >> STOP: Overall Score decreased. Reverting to previous iteration.")
current_log_entry["outcome"] = "REJECTED_SCORE_DECREASE"
break
这段代码值得单独拿出来说,因为它承认了一件很多 agent 项目不愿承认的事:改稿可能越改越差。所以它保留了 final_valid_pdf_path 作为回滚锚点,任何一次编译失败或评分下降都会退回上一个可用版本。这是一种很「工程」的乐观——允许试错,但不允许倒退。
第三层(严格说是另一条支线)是排版层。内容定稿后,pdf_to_grid_images() 把 PDF 每页渲染成图片网格,交给视觉模型检查图表溢出、栏间距、页面边距,最多跑 1 轮。这一轮的提示词里有一条硬约束:
CRITICAL: You are ONLY allowed to make formatting, layout, and spacing adjustments. You MUST NOT change any content, text, claims, data, or citations.
内容与排版被彻底隔离成两个阶段、两套提示词、两个回滚点。这个切分很关键:让模型同时改内容和改格式,它一定会顺手改内容。
除了在线评审,仓库还带了一整套离线评测器在 autoraters/。其中 autoraters/citation_f1.py 的设计最能说明「科研专用」这四个字——它不评引用总数,而是把参考文献分成两级再算召回:
- P0(Must-Have):实验里直接对标的 baseline、用到的数据集、直接继承或修改的核心方法、重度依赖的指标;
- P1(Good-To-Have):背景性引用、泛泛的相关工作、顺带提到的工具。
这个分层直接对应审稿人真实的挑刺方式:少引十篇背景文献没人管,漏掉一个 baseline 就是硬伤。通用编排框架不会想到用 P0/P1 来定义「引用质量」。
四、上手前必须知道的三个坑
第一个坑是绘图链路不自包含。utils/paper_banana_utils.py 第二行就是一个跨仓库路径:
PB_DIR = os.path.join(cur_dir, "../../PaperBanana")
绘图 agent 依赖 PaperBanana 的 few-shot 样例库(data/PaperBananaBench/{task}/ref.json),不额外克隆并准备这个目录,--use_plotting true 必然失败。这不是 bug,是论文配套代码的典型形态:它假设作者自己的机器上什么都有。
第二个坑是数据集没放出来。README 明确写着用于论文生成的 dataset「not included in this code repository,will be released separately」。也就是说,仓库能跑通流程,但你无法复现论文里的任何数字。所有关于效果的判断,目前只能停留在定性层面。
第三个坑是默认参数不一致。paper_writing_cli.py 里 --idea_filename 默认是 idea_sparse.md,而 methods/paper_writer.py 的 write_single_paper() 签名默认是 idea_dense.md。前者会显式传参覆盖后者,所以 CLI 路径没问题;但如果你直接 import 调用 write_single_paper(),就要自己确认文件名。类似的还有 _get_peer_review() 的返回类型标注写成 -> dict、实际返回 (review, score) 元组——研究代码的痕迹,读的时候别被标注骗了。
跑通的最小路径大概是这样:
conda create -n paper_orchestra python=3.11 && conda activate paper_orchestra
pip install -r requirements.txt
python paper_writing_cli.py \
--raw_materials_dir ./my_materials \
--latex_template_dir ./templates/cvpr2025 \
--output_dir ./out_cvpr \
--use_plotting false
raw_materials/ 下需要 idea_sparse.md、experimental_log.md,以及一个 figures/ 目录(不开绘图时必须自己放图和 info.json,否则编译会挂在缺图上)。想换成 ICLR 模板,把 --latex_template_dir 指向 templates/iclr2025 即可——模板目录的契约只有两个文件:guidelines.md 给模型读规则,template.tex 给模型当骨架。这个「模板即配置」的设计相当聪明,新增一个会议只需要新建一个子目录。
另外,frontend/app.py 提供了一个 1082 行的 Streamlit 界面,它并不是重新实现一遍流程,而是用 subprocess.Popen 起 paper_writing_cli.py 子进程,再逐行读 stdout 做进度展示。想快速看效果,streamlit run frontend/app.py 比命令行更直观;但要注意它的进程管理依赖 Linux 的父进程死亡信号,在别的平台上可能留下孤儿进程。
五、窗口期红利还能保鲜多久
回到标题里的那个判断。我的结论是:这类项目的窗口期大约是一个会议周期,6 到 12 个月,而且红利的重心会从「能写」快速移到「能验收」。
先说为什么短。paper-orchestra 的核心资产几乎全是提示词和编排逻辑——methods/prompts/ 下五个文件全是明文,outline_agent.py 正文 60 行,section_writing_agent.py 218 行。它没有训练任何模型,没有私有数据飞轮,底座是 gemini-3.1-pro-preview 这样的预览版模型。这意味着两件事:
一是复制成本极低。任何一个熟悉 LLM 工程的团队,读完这份代码就能在一周内搭出结构相似的流水线,甚至不需要读完——outline_agent_system_prompt 里那份 JSON schema 已经把「怎么把科研材料拆成可执行计划」讲透了,直接抄结构就行。
二是底座涨价会稀释套壳价值。当模型原生长上下文能一次性吞下实验日志和模板,当模型自身的排版审美追上 VLM 检查这一环,中间层的价值就会被压缩。今天需要五个 agent 接力才能保证的事,明年可能两个 prompt 就够。
再说为什么红利会转移。真正难复制的不是流程,是 autoraters/ 那一套评测协议:citation F1 的 P0/P1 分层、lit_review_quality 的四维 0–100 打分(clarity / technical_depth / connectivity / presentation)、sxs_paper_quality 的成对比较、AgentReview 的人格化集成评审。这些定义了一套「什么叫写得好」的共同语言。一旦社区开始用同一套语言比较不同系统,先定义语言的人就拿到了定价权。SwarmBench 在编排领域做的正是这件事——它把「编排能力」拆成任务分解、子智能体委派、结果聚合三个可测量维度,谁都得按这个尺子量。
所以对 paper-orchestra 而言,最理性的路径不是继续加 agent,而是把它那套评测协议变成可被第三方调用的基准。仓库现在缺的恰恰是这个:数据集未发布,复现不了,基准就立不起来。这也解释了为什么它必须把 dataset 「later date」放出来——那不是补充材料,那是它能不能从「一个 demo」变成「一个参照系」的分水岭。
还有一个更冷峻的约束:学术诚信。ICLR、CVPR 这类会议对 AI 生成内容的披露要求正在收紧,而 paper-orchestra 通过 UNIVERSAL_NO_LEAKAGE_PROMPT 把匿名性和「不得推断作者身份」写死在了生成阶段。这实际上是在给自己划一条合规的窄路——它生成的稿子天生没有作者信息,天生只依赖给定材料。这条设计在当下是技术洁癖,在监管收紧之后可能变成必需品。
窗口期内,它最值钱的东西不是「能自动写论文」这个噱头,而是三样别人懒得做的脏活:一份精确到月的时间过滤器、一套承认「会改坏所以要回滚」的接受逻辑、一份把引用拆成 P0/P1 的评测口径。这三样东西的共同点是——它们都不性感,但都直指科研写作真正的失败模式。
编排热会退。留下来的不会是最会编排的那个,而是最先把「什么叫验收合格」写清楚的那个。
