为什么是「可组合步骤」而不是「角色扮演」:paper-orchestra 的设计取向
为什么是「可组合步骤」而不是「角色扮演」:paper-orchestra 的设计取向
多智能体系统最容易犯的错误,是把「角色」当成架构。给它一个"资深审稿人"的头衔,再给它一个"写作专家"的头衔,然后期待它们在对话中自发收敛出一篇论文——这种设计在 demo 里很好看,在长流程里却极难调试。Google Cloud AI Research 开源的 paper-orchestra 提供了一个相反的样本:它把「论文写作」拆成四个边界清晰的步骤,步骤之间只传递文件,不传递情绪、记忆或对话历史。
有意思的是,这个仓库的 prompt 里其实到处写着 Role: Senior AI Researcher。但读完 methods/paper_writer.py 就会发现,角色只用于设定语气与专业视角,真正决定系统行为的不是角色,而是产物契约。这正是本文想拆解的设计取向:角色是修辞,步骤是契约。
一个反直觉的观察:仓库里有角色,但没有角色协作
打开 methods/prompts/section_writing_agent.py,第一行是标准的人设写法:
section_writing_agent_prompt = """Role: Senior AI Researcher.
Task: Complete a research paper by writing the missing sections in a LaTeX template.
methods/prompts/content_refinement_agent.py 同样以 Role: Senior AI Researcher. 开头,methods/prompts/outline_agent.py 则写成 You are a senior AI researcher drafting a paper for a top-tier conference。
但如果就此认定它是"角色扮演式多智能体",就误读了它的运行方式。四个 Agent 之间没有任何对话:OutlineAgent 不"请教"LiteratureAgent,SectionWritingAgent 也不会"质疑"OutlineAgent。它们唯一共享的东西是磁盘上的文件。主流程在 methods/paper_writer.py 里被写成四个带编号的注释块:
# Step 1: Call outline agent
# Step 2: Call HybridLiteratureAgent
# Step 3. Call SectionWritingAgent
# Step 4: Content Reflection
前端也把这条链路直接暴露给用户。frontend/app.py 里的步骤数组是写死的:
steps = [
"Outline Generation",
"Literature Review",
"Section Writing",
"Content Refinement",
]
这不是"让 Agent 自己决定下一步做什么",而是"人先决定有哪几步,再让模型把每一步做扎实"。角色的存在只是为了让模型在该步骤内进入正确的语域,而不是为了让多个角色互相协商。
角色化编排的可控性代价
为什么"角色协商"在科研写作这种任务上会失效?社区里已经有不少侧面的经验证据。对 AOrchestra 的解读指出,固定角色的智能体在长任务中会遭遇上下文腐烂(context rot)与覆盖不足:角色一旦被固定,它的职责边界就变成了一种软约束,模型会在同一段上下文里反复自我引用,越写越偏,且无法主动宣告"这部分不该我负责"。SwarmBench 这类面向编排器的评估工作则给出了另一个规律:在任务分解、子智能体委派、结果聚合三项能力中,聚合环节最薄弱,而"编排结构的有效性"比"并行子智能体的数量"更能决定最终质量。
这两条结论指向同一个工程事实:角色是一种语义约束,它约束的是模型"如何说话",却约束不了"交付什么"。当流程长达十几轮模型调用、跨越 LaTeX 编译与 PDF 视觉核查时,语义约束会迅速衰减。
paper-orchestra 的应对方式是把约束从语义层搬到结构层。最典型的是 OutlineAgent 的输出:methods/prompts/outline_agent.py 要求模型输出一个严格的 JSON 对象,顶层键被限定为三个:
### Strict Output Format (JSON)
You must output a single, valid JSON object with the following three top-level keys: "plotting_plan", "intro_related_work_plan", and "section_plan".
这三把键不是装饰。plotting_plan 直接喂给绘图 Agent,intro_related_work_plan 直接变成文献检索任务队列,section_plan 直接变成写作 Agent 的施工图。也就是说,大纲不是一段描述,而是一份可被下游程序解析的合同。
文献环节把这一点做得更彻底。methods/agents/literature_review_agent.py 用 Pydantic 把"检索结果"这种最容易跑偏的自由文本,压成了固定字段:
class CandidatePaper(BaseModel):
title: str
year: int
reason: str
class DiscoveryResult(BaseModel):
section_name: str
candidates: List[CandidatePaper]
检索步骤的 prompt 里直接嵌入了 DiscoveryResult.model_json_schema()。模型没有"自由发挥"的空间——它只能返回若干条候选论文的标题、年份和入选理由,剩下的补全、去重、时间过滤全部交给确定性代码。
步骤化的四个工程支点
支点一:文件即接口,交接不靠对话
在 methods/paper_writer.py 的 Step 2 末尾,LiteratureAgent 与写作 Agent 之间的"交接"是这样的:
shutil.copy(
osp.join(literature_agent_output_dir, "outline_v1.json"),
outline_file_path,
)
shutil.copy(
osp.join(literature_agent_output_dir, "updated_template.tex"),
osp.join(latex_writeup_dir, "template.tex"),
)
shutil.copy(
osp.join(literature_agent_output_dir, "references.bib"),
osp.join(latex_writeup_dir, "references.bib"),
)
outline_v1.json、updated_template.tex、references.bib、citation_map.json、figures/info.json——这五个文件构成了整条流水线的全部接口面。好处非常具体:
- 可审计:任何一步出错,都可以直接打开对应 JSON 看模型当时到底"想"了什么;
- 可替换:想把 Gemini 换成别的后端,只需要保持文件 schema 不变;
- 可回放:重跑不需要重新检索,只要有中间产物就能从任意步骤继续。
文献 Agent 甚至会把注入引用后的大纲写回同名文件(_inject_citations_into_outline),让"大纲"成为一个会被逐步富化的活对象:先是结构,再是 citation_candidates,最后才被写作 Agent 消费。这种"同一份产物逐轮加厚"的模式,比让两个角色互相对话要稳定得多。
支点二:工具权限按步骤最小化
整个仓库里,真正带外部工具的只有一处:文献发现。而且这个工具被限制在一个极窄的调用点内:
response_dict = call_gemini_with_contents(
model_name="gemini-3-flash-preview",
contents=[prompt],
generation_configs={
"tools": [self.google_search_tool],
"temperature": 0.1 if task.get("search_type") == "targeted" else 0.4,
},
)
注意两个细节。第一,这里刻意用了更便宜、更快的 gemini-3-flash-preview,而写作与反思环节用 gemini-3.1-pro-preview——模型选择是步骤的属性,不是角色的属性。第二,温度是分档的:定向补引(targeted)用 0.1 逼近确定性,探索性检索(exploration)用 0.4 换取召回。
更关键的是,检索完就直接进入"确定性收口"阶段。Google 搜索返回候选后,代码会逐个调用 Semantic Scholar 补全元数据,并且主动限速:
for item in all_candidates_with_tasks:
# wait 1s per query to avoid SS rate limits!
time.sleep(1.0)
self._enrich_and_register_paper(
item["cand"], item["task"], registry, cutoff_date
)
这里没有任何"让 Agent 自己判断要不要重试"的空间。速率限制、去重(_normalize_title)、时间截断(_is_paper_allowed)都是硬编码的确定性逻辑。科研场景里,"引用了一篇不存在的论文"或"引用了投稿截止日之后的论文"是致命错误,这类错误不能交给概率模型自我约束。
支点三:自我修正必须有预算和判据
paper-orchestra 并不是"一次成稿",它有三处反思循环。但每一处都被明确限定了轮数与接受条件。
内容精修循环在 methods/agents/content_refinement_agent.py,默认 max_reflections=3。每一轮都会重新编译 PDF、调用评审器打分,然后按三条规则决定是否接受:
# Case 1: Overall Increased -> SUCCESS -> ACCEPT & CONTINUE
# Case 2: Overall Decreased -> FAIL -> BREAK & REVERT
# Case 3: Overall Same
# Case 3b: Too much internal degradation -> BREAK & REVERT
第三条尤其值得学习。当总分不变时,它不直接接受,而是比较各子维度(Originality、Quality、Clarity、Soundness、Presentation 等)的涨跌总和:total_drop > total_gain 就回滚。这实际上是在防止一种常见的"改一个地方、坏两个地方"的隐性退化——如果只看 Overall,这种退化会被平均分掩盖。
绘图 Agent 的批评循环同理,methods/agents/plotting_agent.py 里 max_critic_rounds 默认为 3,并保留了自然早停:
if suggestions.strip() == "No changes needed.":
print(f"... Critic round {round_idx + 1}: No changes needed. Finishing refinement.")
break
格式化循环更克制,max_formatting_loops = 1。原因写在 prompt 里:格式修复只允许动排版,不允许改内容、数据与引用。轮数越少,越不容易在"修格式"的名义下悄悄改掉论证。
支点四:整条流水线可重入
methods/paper_writer.py 把四个步骤整体包在一个重试循环里,max_n_tries = 3。每次重试并不是"接着上次的烂摊子继续",而是重新 copytree 模板、重建 latex_writeup:
while (not succeed) and (cur_try < max_n_tries):
try:
shutil.copytree(latex_template_dir, latex_writeup_dir, dirs_exist_ok=True)
这是一种很朴素但很有效的稳定性策略:用重建代替修复。相比之下,基于对话历史的多角色系统在失败后往往陷入"上下文已经被污染"的困境——你很难让一个已经读了 20 轮错误信息的角色回到干净状态。
批处理层面还有一层断点续跑。methods/paper_writer.py 用 paper_writing_log.json 记录每篇论文的状态,_filter_and_prepare_papers 会跳过已经成功的条目,再用 ProcessPoolExecutor 并行处理剩余任务。这让"跑 100 篇论文"变成一个可中断、可恢复的工程任务,而不是一次不能失败的长会话。
两种取向在长流程下的稳定性差异
把上述设计放在一起,可以画出一条清晰的分界线。
| 维度 | 角色化编排 | paper-orchestra 的步骤化编排 |
|---|---|---|
| 协作原语 | 对话 / 消息传递 | 文件(JSON、TeX、Bib) |
| 责任边界 | 由 prompt 语义界定 | 由输入输出 schema 界定 |
| 工具权限 | 常驻在角色上 | 只挂在单个步骤上 |
| 失败处理 | 依赖角色自我觉察 | 重试、回滚、重建工作区 |
| 质量判据 | 主观评议 | 结构化评分 + 接受/拒绝规则 |
| 成本控制 | 角色自行决定调用次数 | 轮数、模型、并发数全部硬编码 |
差异的根源在于错误的传播方式。角色系统里,一个角色产生的幻觉会以自然语言形式流入下一个角色的上下文,并被后者当作事实继续推理——错误被"叙述化"了。步骤系统里,幻觉必须先通过 schema 校验才能进入下一步:CandidatePaper 少一个字段就直接掉出结果集,Overall 分数没提升就回滚 TeX。错误在边界处被截断,而不是被传递。
情报里 UltraRAG 用 YAML 几十行编排顺序、循环与条件分支,LiteFlow 把长业务流程拆成可复用组件,本质上都是同一个判断:当流程足够长时,显式控制流比隐式协商更可靠。paper-orchestra 只是把这个判断搬到了"写论文"这个更模糊的领域,并用 LaTeX 编译成功与否、PDF 视觉检查、评审分数这些外部信号,为每一步提供了可验证的落地锚点。
步骤化在科研场景的优势与真实局限
优势是明确的,而且大多是"科研合规"层面的:
- 数据可追溯:
experimental_log.md被反复声明为唯一事实来源,写作 prompt 里写着Do not hallucinate numbers. Use the exact values provided in the log.;精修 prompt 更进一步,明确要求忽略那些"要求补做新实验"的审稿意见; - 引用可度量:autoraters/citation_f1.py 把参考文献分成 P0(必引:基线、数据集、核心方法)与 P1(补充),再计算 overall precision/recall/F1 以及
p0_recall、p1_recall。这是把"文献综述做得好不好"变成可回归的指标,而不是靠人读一遍感觉; - 质量可分级:autoraters/lit_review_quality.py 用结构化输出把评审拆成 clarity、technical_depth、connectivity、presentation 四个维度加一个 0–100 的总分,避免"整体不错"这种无法优化的反馈;
- 并行有边界:开启绘图后,methods/paper_writer_with_plotting.py 用
ThreadPoolExecutor(max_workers=2)让文献综述与绘图同时跑,因为这两步都只依赖outline.json,互不写同一份文件。并行度来自依赖图的形状,而不是"多开几个 Agent 试试"。
局限同样明显,而且值得如实说出来。
第一,流水线没有全局回溯。 四个步骤是单向的。如果 section_plan 在第一步就定错了章节重心,后面三步只会在错误的结构上做得越来越精致。内容精修虽然会回滚单轮修改,但它回滚不了大纲。这也是为什么 OutlineAgent 的 prompt 被写得异常冗长——它承担了整条链路最重的"一次性决策"压力。
第二,聚合仍是瓶颈。 文献 Agent 会把多个检索任务的结果汇总成一个 registry,写作 Agent 要把大纲、引用库、实验日志、图片说明汇总成一份 TeX。这与 SwarmBench 观察到的"聚合能力最弱"一致。代码里的应对是去重、截断摘要(abstract[:1500])和强制引用覆盖率下限:
writer_system_prompt = literature_review_agent_writter_prompt.format(
paper_count=len(papers),
min_cite_paper_count=int(len(papers) * 0.9),
cutoff_date=cutoff_date,
)
要求至少引用 90% 的已收集文献,是个很聪明的硬约束:它把"综述写得太泛"这种模糊问题,转化成了一个可以检查的比例。
第三,它不生产科学发现。 utils/prompt_utils.py 里有一段贯穿多个 Agent 的 UNIVERSAL_NO_LEAKAGE_PROMPT,要求模型"假装对本主题没有任何先验知识",只能使用本次会话提供的材料,并禁止推断作者与机构。这个约束保证了双盲合规与事实落地,但也界定了系统的能力边界:它是一台把已有研究材料转成合规稿件的机器,而不是一台能提出新假设的机器。把它当成后者来用,就会失望。
什么时候该用角色,什么时候该用步骤
如果要给出一条可操作的判断准则,大概是这三条:
- 看交付物是否有稳定 schema。 有(JSON、TeX、Bib、图片清单)就用步骤,让文件当接口;没有、且需要开放式探索,才考虑角色协作。
- 看错误是否可验证。 能编译、能打分、能算 F1 的环节适合步骤化,因为你可以为每一步设置接受/回滚判据;只能靠"另一个模型觉得还行"的环节,角色化不会带来额外收益,只会增加不确定性。
- 看流程长度。 三步以内,角色编排的协调开销可以接受;十步以上,显式控制流几乎是唯一能维护的选择。
paper-orchestra 的价值不在于它证明了"多智能体没用",而在于它示范了一种更成熟的用法:把 Agent 当成带类型的函数,而不是带性格的同事。角色可以保留,用来让模型进入正确的语域;但协作必须落在文件、schema 和预算上。当一篇论文的成败取决于某个数字有没有被编造、某篇参考文献是否真实存在时,能救你的从来不是"资深研究者"这个人设,而是那行 Do not hallucinate numbers 和它背后那个会把整份 TeX 回滚的 if 分支。
