paper-orchestra 对上通用 Agent 编排框架:科研场景到底谁省事

原创2026-11-18 05:01:4343 阅读
文章标签:人工智能AI Agent多智能体AI 写作Agent 编排提示工程AI 评测

paper-orchestra 对上通用 Agent 编排框架:科研场景到底谁省事

PaperOrchestra 是 Google Cloud AI Research 开源的一个多智能体写作框架:输入 idea.md 与 experimental_log.md,输出一份能提交的 LaTeX 稿件与 PDF。它的卖点听起来很像"又一个 Agent 编排系统"——大纲、文献综述、章节写作、内容打磨、画图,五个角色各司其职。

但真正打开仓库会发现一件反直觉的事:它没有用 LangGraph,没有用 CrewAI,也没有 StateGraph、Node、Edge 这类抽象。整套"编排"就是一个 Python 函数,串行调用五个类,中间靠 shutil.copy 传递文件。

这恰恰是讨论"科研场景谁省事"的最好样本:当一个团队决定不为编排写框架时,他们把复杂度挪到了哪里,又付出了什么代价。

PaperOrchestra 的五步流水线:大纲、画图、文献、写作、迭代打磨

一个没有编排框架的"编排框架"

主线逻辑集中在 paper_writer.py 的 write_single_paper() 里。去掉异常处理与目录清理,它的骨架只有几十行:

outline_agent = OutlineAgent(model_name=writer_model_name, cutoff_date=research_cutoff)
outline_agent.run(idea_file=..., experimental_log_file=...,
                  latex_template_file=..., conference_guidelines_file=...,
                  output_filepath=outline_file_path)

literature_agent = HybridLiteratureAgent(idea_path=..., experimental_log_path=...,
                                         output_dir=literature_agent_output_dir,
                                         model_name=writer_model_name, max_workers=3)
literature_agent.run(outline_path=outline_file_path, cutoff_date=research_cutoff)

section_writing_agent = SectionWritingAgent(outline_path=..., template_path=...,
                                            citation_map_path=..., figures_info_path=...,
                                            model_name=writer_model_name)
section_writing_agent.run(output_path=raw_draft_tex_path)

content_refinement_agent = ContentRefinementAgent(experimental_log_path=...,
                                                  citation_map_path=..., model_name=reflection_model_name,
                                                  max_reflections=3, work_dir=...)
content_refinement_agent.run(texfile_path=raw_draft_tex_path)

这就是全部。没有调度器,没有消息总线,没有共享内存状态对象。每个 Agent 是一个普通类,构造函数接收路径字符串,run() 读写文件。

并发也只用了标准库:批量模式用 ProcessPoolExecutor 一稿一进程,paper_writer_with_plotting.py 里为了让文献检索和画图同时跑,开了个 ThreadPoolExecutor(max_workers=2):

with ThreadPoolExecutor(max_workers=2) as executor:
    future_lit = executor.submit(run_literature_agent)
    future_plot = executor.submit(run_plotting_agent)
    future_lit.result()
    plot_results = future_plot.result()

而 HybridLiteratureAgent 内部又用 ThreadPoolExecutor(max_workers=10) 并发执行 Google Search 发现任务,随后对 Semantic Scholar 的补全改成串行并 time.sleep(1.0) 限速——见 literature_review_agent.py。这段代码几乎是把"什么能并发、什么不能"的工程经验直接写进了流程,而不是交给图编排器去推断。

有意思的是它的容错方式:整个 write_single_paper 包在一个 while cur_try < max_n_tries 里,最多重试 3 次,任何一步抛异常就整条流水线重来。这不是 checkpoint 级别的恢复,而是"全量重跑"。原因很实在——每一步的产物都落盘了,重跑是幂等的。

契约是文件名,不是消息

通用编排框架的核心抽象通常是"在节点之间传递一个共享 State"。PaperOrchestra 没有 State,它用目录和固定的文件名当契约:

产物 生产者 消费者
outline.json OutlineAgent HybridLiteratureAgent、PlottingAgent
outline_v1.json HybridLiteratureAgent(回注引用后) SectionWritingAgent
updated_template.tex HybridLiteratureAgent(写完 Intro / Related Work) SectionWritingAgent
references.bib HybridLiteratureAgent LaTeX 编译
citation_map.json HybridLiteratureAgent SectionWritingAgent、ContentRefinementAgent
figures/info.json PlottingAgent 或用户手工提供 SectionWritingAgent

这套约定的好处是肉眼可见的:任何一步崩了,人可以直接打开中间文件看;想让文献 agent 换一种检索策略,不需要重跑大纲;甚至可以把 outline.json 手改一遍再往下走——这在"状态在内存里流转"的框架里要么做不到,要么得专门写个断点机制。

坏处同样明显:契约没有 schema 校验。看 section_writing_agent.py 的读文件逻辑:

def _read_json(self, file_path: str) -> Dict:
    try:
        with open(file_path, "r", encoding="utf-8") as f:
            return json.load(f)
    except (FileNotFoundError, json.JSONDecodeError):
        return {}

路径错了、JSON 坏了,都静默退化成空字典,然后 _format_citation_library({}) 返回一句 "No citation data provided.",写作 agent 就带着零引用继续写。错误不会中断流程,只会让最终 PDF 悄悄变差。

一个具体的坑:走"不画图"路径时,paper_writing_cli.py 只检查 raw_materials/figures 里有没有 .pdf/.png/.jpg,但 SectionWritingAgent 真正依赖的是同目录下的 info.json。文件存在但 info.json 缺失,agent 收到的是"没有提供任何图片",图片文件却堂而皇之地躺在目录里。这类问题在带类型检查的状态图里会直接暴露,在这里只能靠读代码发现。

加一步要动几处:清点一遍

假设要给流水线加一个新环节——比如"图表数据自检":读一遍 experimental_log.md,检查稿件里每个表格数字是否都能在原始日志里找到。在 PaperOrchestra 里,改动清单是这样的:

第一处:写一个新类,比如 TableAuditAgent,带上它自己的 prompt 文件。这部分和框架无关,任何方案都逃不掉。

第二处:在 paper_writer.py 的 write_single_paper() 里插入调用。

第三处:在 paper_writer_with_plotting.py 的 write_single_paper() 里再插一次。因为这两份文件是复制出来的:443 行与 520 行,前四步几乎逐行相同,只有 Step 2 的并发结构和 figures 传递不同。这是最容易被低估的维护成本——加一个能力,等于维护两条流水线。

第四处:paper_writing_cli.py 加开关参数,并在 use_plotting 的两条分支里分别透传。

第五处:frontend/app.py 的 steps 列表要加一项,否则界面进度条少一格。

第六处,也是最隐蔽的一处:前端靠解析子进程 stdout 来推进度。它匹配的是字符串:

if "Starting Fast Hybrid Literature Agent" in line:
    st.session_state.current_step = 1
elif "Agent SectionWritingAgent starting" in line:
    st.session_state.current_step = 2
elif ("=== Initial Baseline Review ===" in line
      or "Starting dedicated formatting loop" in line):
    st.session_state.current_step = 3

这意味着每个 agent 的 print 文案成了对外接口。你在新 agent 里改了日志措辞,或者忘了打印一句能被匹配上的话,UI 的进度就卡住不动——但后端其实跑得好好的。这类"隐式接口"在通用框架里通常由事件回调或节点生命周期钩子替代。

所以答案是:加一个以文件为输入输出的步骤,大约 4 到 6 处改动,其中两处是重复劳动,一处是字符串耦合。这个数字不算灾难,但它不随流程复杂度线性增长——一旦流程出现分支(比如"如果审稿分数低于阈值就回到 Section Writing 重写"),两份 pipeline 里的 if 会迅速分叉,最终变成两套"差不多但不一样"的逻辑。

真正的预置度藏在 prompt 里

如果只看到"编排代码很朴素",会得出错误结论:以为这个项目的价值在代码结构。实际上它最重的资产是 prompt 里的领域知识,这部分恰好是通用编排框架最不可能替你写的。

outline_agent.py 的 system prompt 有 11845 字符,它不是"请帮我列个大纲",而是一份硬性规范:

  • plot_type 只能是 "plot" 或 "diagram",具体图表类型写在 objective 里;
  • aspect_ratio 被枚举死:1:1、2:3、3:2、16:9、21:9 等十二种之一;
  • figure_id 必须是 fig_framework_overview 这种语义化标识,且禁止出现 "Figure" 这个词;
  • Introduction 与 Related Work 的检索范围必须严格分离:前者宏观(开创性工作、综述),后者微观(SOTA 基线、benchmark),防止引用重叠;
  • citation_hints 必须穷尽——连 AdamW、ResNet、ImageNet、CLIP 这种"人人都知道"的东西也要单独给一条,并且给了反幻觉格式:知道作者就用 Author (Exact Paper Title),不知道就用 research paper or technical report introducing 'X'。

注意最后这条的双重作用:它既是"引用完整性"的要求,也是一个把不确定性显式化的手段。模型不确定作者时输出一个可被检索的模板串,下游用 Google Search 去坐实,而不是编一个人名。

section_writing_agent.py 里同样是工程规范而非文风建议:表格必须用 booktabs 的 \toprule/\midrule/\bottomrule;数字必须来自 experimental_log.md,"Do not hallucinate numbers";所有表格、图片必须出现在 Conclusion 之前(除非放附录);双栏排版下优先单栏 figure;连"不要把 cleveref 拼成 cleverref"这种踩过坑的细节都写进去了。

而 content_refinement_agent.py 里有一条最能体现科研场景特殊性的规则:审稿人要求补新实验时,直接忽略。

If the reviewer asks for new experiments, ablations, or baselines that are NOT in experimental_log.md, simply ignore those specific requests.

这是"论文写作"和"论文研究"的分界线。一个通用写作 Agent 会老老实实地"满足用户需求",往稿子里塞一句"我们将在未来工作中补充该实验";而这个框架明确禁止:你没有的数据,不许出现在稿子里,也不许承诺。这条约束如果靠编排层实现,需要给 agent 一个"数据白名单";在这里,它是一句 prompt 加一份 experimental_log.md。

手写状态机:反思循环长什么样

content_refinement_agent.py 是整个仓库里最像"编排"的地方。它的逻辑是:编译初稿 → 让评审 agent 打分 → 根据反馈改稿 → 重新编译 → 再打分 → 比较分数决定接受还是回滚。

这段控制流没有用图,而是四个分支:

if new_metrics["Overall"] > old_metrics["Overall"]:
    current_log_entry["outcome"] = "ACCEPTED_SCORE_INCREASE"
    self.current_tex = new_tex
    final_valid_pdf_path = cur_pdf_path
elif new_metrics["Overall"] < old_metrics["Overall"]:
    current_log_entry["outcome"] = "REJECTED_SCORE_DECREASE"
    break
else:
    if total_drop > total_gain:
        current_log_entry["outcome"] = "REJECTED_DEGRADATION"
        break
    else:
        current_log_entry["outcome"] = "ACCEPTED_NEUTRAL_IMPROVEMENT"
        self.current_tex = new_tex
        final_valid_pdf_path = cur_pdf_path

值得学的是第三档:总分持平,但分项指标(Originality、Quality、Clarity、Significance、Soundness、Presentation、Contribution)有的涨有的跌时,用 total_gain 与 total_drop 比较,跌得多就回滚。这解决了一个真实问题——LLM 改稿经常会"整体看着差不多,但把某一段写虚了"。只比 Overall 会放过这种退化。

另一个细节是回滚的实现方式:不是把文件改回去,而是维护一个"最后一个有效 PDF"的指针 final_valid_pdf_path。改稿失败(编译不出 PDF)就 continue,指针不动。这比"写入后回滚"简单得多,也更符合文件系统的直觉。

成本要算清楚。perform_review_agentreview 默认 num_review_ensemble=3,三份独立评审后再做一次 meta-review 聚合,也就是每次打分 = 4 次 LLM 调用。max_reflections=3 意味着初评一次、每轮改稿后各评一次,最多 4 轮评审 = 16 次评审调用,外加 3 次改稿、1 次 VLM 格式审查、1 次格式修复。这条循环是整条流水线里最贵的一段,max_reflections 这个参数本质上是个预算旋钮。

值得一提的还有格式审查那一环:它把 PDF 每一页渲染成 2×2 拼图(pdf_to_grid_images,见 pdf_utils.py),连同 guidelines.md 一起丢给视觉模型,要求逐图逐表输出 detected_issue / suggested_fix,并且明确规定"只在图表明显溢出栏间距或页边距时才报告"。修完只跑一轮(max_formatting_loops = 1),改坏了就跳过。这是典型的"高价值、低置信度、限量重试"设计。

学术硬约束:通用框架不会替你想的部分

把 PaperOrchestra 和通用编排框架放在一起比,最容易忽略的一类差异是:这个领域有一批"不满足就等于零分"的约束,它们必须被编排层强制执行。

时间线一致性。research_cutoff 从 CLI 一路传到大纲 agent(写进 prompt 的 {cutoff_date})、文献 agent(过滤候选)、再到 scholar_utils.py 的 s2_title_search(比对 publicationDate)。这解决的问题是"审稿人一眼看穿的未来引用"——检索模型会兴高采烈地返回 cutoff 之后的论文,把它当成 baseline 去对比,整篇稿子的可信度就没了。

身份泄漏。prompt_utils.py 里的 UNIVERSAL_NO_LEAKAGE_PROMPT 被拼接到大纲、写作、改稿三个 prompt 的末尾,要求模型"假装对本课题一无所知,只能用本次会话提供的材料",并禁止输出作者、单位、致谢、"corresponding author"等任何可识别信息。这是双盲投稿的硬性要求,而且它同时兼任了第二个功能:抑制模型用训练记忆"补全"论文,把没做过的实验写得像做过。

引用可验证。文献 agent 的路线是"先发现、后核实":Google Search 只负责产出候选标题,真正决定收录的是 Semantic Scholar 查询,用 thefuzz 的 fuzz.ratio 做标题匹配,低于 70 分直接丢弃,并要求摘要非空。同时写作 prompt 强制引用覆盖率——min_cite_paper_count = int(len(papers) * 0.9),收集到的论文至少 90% 要出现在正文里,避免"检了一堆、引了两篇"。

可测量的质量。autoraters/ 目录不是摆设:agent_review.py 复刻了 AgentReview 的评审人格与 1–10 分标尺,lit_review_quality.py 用四轴(clarity / technical_depth / connectivity / presentation)打 0–100 分,sxs_paper_quality.py 做双盲两两对比,citation_f1.py 则把引用分成 P0(必须引:基线、数据集、核心方法、指标)和 P1(可引)来算引用 F1。这四个脚本合起来,是这个项目能被称为"研究"而不是"demo"的原因。

反过来说,这也是通用框架的短板:LangGraph 能给你 interrupt_before 和 checkpointer,但它不会告诉你"双盲稿子里不能出现通讯作者"。

对上线:通用框架的灵活 vs 科研框架的预置

社区里这两类方案的气质差别很大。

AOrchestra 那类工作把子智能体抽象成四元组(Instruction、Context、Tools、Model),由编排器在运行时按需实例化,编排与执行彻底解耦。UltraRAG 走的是另一条路:把检索、生成、评估各自封成 MCP Server,用几十行 YAML 声明顺序、循环、条件分支。两者的共同点是——流程是数据,可以改配置而不改代码。

PaperOrchestra 的选择正相反:流程是代码,配置只是参数。五个 agent 的模型名、prompt、输入文件、输出路径全部在构造函数里写死,运行期没有任何"决定下一步调谁"的空间。它把编排编译期化了。

这在科研写作场景里有它的道理:

  • 流程是稳定的。写论文就是这五步,不存在"这篇论文需要先做 A 再做 B"的分支。为一个稳定拓扑引入图引擎,收益接近零。
  • 每一步的输入输出都很大(整份 LaTeX、整份 bib、整份 PDF),用文件做边界比在内存里传对象更省心,也天然支持人工介入。
  • 调试靠看文件。出了问题打开 content_refinement_workdir/peer_reviews/review_v2.json 就知道第三轮为什么被回滚,不需要接 tracing 后端。

代价也很清楚:拓扑不可组合。你没法把"文献 agent"单独拿出来复用在一个完全不同的流程里,因为它假设 outline.json 长成 OutlineAgent 的样子;你也没法让两个 agent 并行投票,因为流程是串行写死的。想加分支,就得复制一份 pipeline。

顺便说一句,近期一些针对多智能体编排的评测工作给出的结论挺有意思:编排结构的有效性往往比并行 agent 的数量更重要,而"结果聚合"是最薄弱的一环。PaperOrchestra 的做法恰好绕开了聚合难题——它不做多 agent 投票,只做单线串行加一个带分数门禁的反思循环,聚合被降维成"注入 citation_map 和更新 outline"。

选型:三条路与一张判断表

如果你要做的是"把已有实验材料变成稿子",直接用这个仓库比自己搭划算。./paper_writing_cli.sh 加三个路径参数就能跑,templates/ 里 CVPR 2025 与 ICLR 2025 的 template.tex、guidelines.md、.bst 都齐了,guidelines.md 里连页数限制(CVPR 正文八页)、双盲措辞、数学编号规范都写清楚了。加新模板只需在 templates/ 下建子目录,放同名的四个文件。

如果你要研究的是"编排"本身,这个仓库更适合当对照组而不是基座。它的价值在于告诉你哪些东西是领域特有的、必须硬编码的:cutoff 过滤、引用核实、数据白名单、双盲清洗。把这些搬进 LangGraph 或 YAML 驱动的管线里,剩下的调度、重试、断点续跑交给框架,是更合理的分工。

如果你要的是一个通用写作/研究助手,那两条都不合适。这里没有对话、没有工具调用的动态选择、没有用户中途干预的入口(虽然 Streamlit 前端能看中间产物,但不能在运行时改主意)。

几个具体的判断维度:

维度 PaperOrchestra 式硬编码 通用编排框架
拓扑变化频率 低(写论文永远是五步) 高(每个课题流程不同)
中间产物是否需要人工审阅 需要,且以文件形式 通常不需要
调试方式 打开文件看 看 trace / 事件流
加一个步骤 改 4–6 处,含重复文件 加节点 + 改状态 schema
领域约束(双盲、cutoff、引用) 写在 prompt 与代码里,强约束 需要自己实现
换模型 改构造参数,但 Gemini 路径最深 通常有统一 provider 层

最后一行值得展开。虽然 llm_backend_utils.py 提供了 call_llm_with_text_prompt 这类分流函数,按模型名里有没有 gpt/o1/o3 决定走 OpenAI 还是 Gemini,但很多 agent 是直接 from utils.gemini_utils import ... 的:大纲 agent、文献 agent 的检索发现(硬编码 gemini-3-flash-preview)、改稿 agent、视觉格式审查、图片生成(gemini-3-pro-image-preview)。也就是说"可换模型"这件事只对写作和反思两个入口成立,其余部分和 Gemini 生态绑得比较紧。

还有两个需要提前知道的现实约束。其一,README 明确写了评测数据集不随仓库发布,所以论文里的分数无法直接复现,datasets/ 目录得自己准备。其二,paper_writer.py 里 write_single_paper 的默认 idea_filename 是 idea_dense.md,而 CLI 与批量入口默认 idea_sparse.md——直接调函数时容易踩到,走 CLI 则没问题。

回到标题的问题。科研场景里,"省事"不是指写更少的编排代码——PaperOrchestra 的编排代码确实少,但它把工作量转移到了 4 万多字符的 prompt、四个自动评测脚本、以及两份需要同步维护的 pipeline 上。它省的是每次跑一篇论文时的心智负担:你不用想下一步该调谁,不用担心模型忘了做双盲清洗,不用手动检查引用是不是编的。

而通用框架省的是改流程时的心智负担:加节点、改分支、接新工具,都不用碰主逻辑。

这两笔账不该混着算。选错的典型症状是:用通用框架搭论文流水线,最后发现 80% 的代码在实现领域约束;或者用专用流水线去做一个每周都要改拓扑的研究项目,最后发现仓库里躺着七个版本的 paper_writer_vN.py。

登录后查看全文
paper-orchestra