从PaperJury项目看多Agent技能搭建:Skill+Workflow+Memory架构解析

原创2026-10-13 09:55:041,463 阅读

从PaperJury项目看多Agent技能搭建:Skill+Workflow+Memory架构解析

PaperJury 是一个面向论文投稿前 AI 评审压测的 Claude Code skill(多 Agent 论文评审工具),它把「审稿 → 裁定 → 修改 → 复查」整条对抗式评审链路拆成了 Skill + Workflow + Memory 三层。这篇文章带你拆解这套多 Agent 架构:为什么这样分层、每一层负责什么、以及你如何借鉴它搭建自己的多 Agent 技能。

先说结论:能用脚本确定性检查的,绝不交给模型;需要语义判断的,才交给隔离运行的 Agent。这一条原则贯穿整个项目。

PaperJury 多Agent论文评审引擎总览:审稿到裁定修改复查闭环

为什么要用多 Agent 架构?AI 评审的三大痛点

用单个 LLM 给论文挑毛病,通常会遇到三个问题:

痛点 单模型方案的困境 PaperJury 的解法
🤖 意见不可靠 模型可能误读论文、编造问题 每条意见要过「庭审」审议,不成立的直接驳回
🔁 多轮改稿会漂移 越改越偏,核心 claim 被悄悄改掉 冻结「spine」锚点句 + 编辑安全护栏链
📌 状态无法持久 换一次会话就失忆,问题清单丢失 Ledger 账本持久化所有问题的状态

这三个痛点,恰好对应了三层架构的三个职责。

架构总览:三个原语各管一件事

项目在 SKILL.md 中把这套范式总结为「三个原语」:

Skill = 入口 + 方法论,Workflow = 扇出引擎,Memory = 持久状态 + 学习到的约定。

三者各自承载一个关注点,合在一起替代了手工维护多 Agent 系统时累积的大量「文件和标志位」机制。仓库目录与三层的对应关系非常直观:

层 目录 职责
Skill 根目录 SKILL.md + references/ 协议、评审规则、写作工具包、人工确认门槛
Workflow workflows/ 12 个语义阶段:分配评审、庭审、润色、起草等并行步骤
Memory scripts/ledger.js + 运行时 LEDGER.json 跨轮次、跨会话的问题状态机

第一层 Skill:定义入口与方法论

Skill 层是整个技能的「大脑」,核心是一份 SKILL.md——它同时是触发入口(Claude Code 靠它自动发现技能)和方法论说明书。

它定义了三件事:

  1. 三种模式的路由规则。用户在 SKILL.md 中可以直接用自然语言触发:
    • direct-edit(常用):说「把这段改紧一点」,直接起草补丁,改前等你确认;
    • review(偶尔):说「审稿 / 评审」,启动完整的对抗式评审引擎;
    • auto(无人值守):必须显式通过 /goal 开启,按漂移受控策略多轮跑向可验证目标。
  2. 输入如何在运行时解析。技能本身不带任何硬编码路径——论文在哪、投什么会议、谁签字确认,全部在触发时探测或由项目配置提供(配置模板见 configs/config-template.md)。
  3. 六条硬规则。比如「未经作者显式确认,绝不改手稿」「评审者之间相互隔离」,写在 SKILL.md。

配套的 references/ 目录则存放详细协议:评审引擎 v3 协议(references/review-engine-v3.md)、评审者人格(references/reviewer-personas.md)、账本 schema(references/ledger-schema.md)。

💡 借鉴点:把「入口触发 + 决策路由」写成一份可被 agent 自动加载的 Markdown,把细节协议拆到 references 里按需引用,是控制 Skill 层复杂度的关键。

第二层 Workflow:搭一个并行评审引擎

需要判断语义的步骤,项目全部做成了 Workflow(workflows/ 下共 12 个)。以 v3 庭审引擎为例,一轮评审的扇出链路是:

assign-reviewers → reading-check → coverage-auditor → merge
  → { trial ‖ polish } → recall-audit → drafter
  → { edit-audit | meaning-audit } → clerk

(协议出处:references/review-engine-v3.md)

为什么用 Workflow 而不是直接对话?项目给出了清晰的理由(SKILL.md):

  • 并行性由构造保证:N 位评审员同时读全文,不用手写同步逻辑;
  • 输出自带 schema 校验:结构化返回,下游可以直接消费;
  • 隔离即安全:每个 agent 只看到你喂给它的 prompt,看不到同侪、账本和上一轮结果——「引不出原文引文,就视为没真读」,天然防止略读和锚定效应。

而确定性守卫全部放在 workflow 之外:由主会话(orchestrator)在各 workflow 调用之间用 Bash 跑 Node 脚本,例如分解手稿的 scripts/decompose.js、原子应用补丁的 scripts/apply-patch.js、真实编译检查的 scripts/compile-guard.js。分工原则一句话:扇出走 Workflow,检查走脚本,人审走对话。

第三层 Memory:持久状态与项目约定

Memory 层分两个部分:

1. Ledger 账本 = 机器可读的唯一事实源。 每条 reviewer 意见都是一行「案卷」,字段包括 significance(major/minor)、kind(mechanical/substantive)、evidence_anchor(原文引文)、status 状态机等等,schema 定义见 references/ledger-schema.md。JSON 文件是脚本和自动模式完成判定的事实源,另渲染一份 LEDGER.md 给人看。多轮改稿「改到哪了、哪些问题还开着」全在这本账里,跨会话也不丢。

2. Spine 脊柱 = 防漂移的记忆锚点。 自动模式下没有人在环,最大的风险是越改越偏。解法是把论文的核心句(摘要动机、贡献声明、结果结论等最多 7 句)提取出来、经作者确认后冻结成 spine.json(机制见 references/spine.md)。之后任何编辑碰到锚点,都会触发四态含义审计,不达标就回滚并排队等人工。

还有一层轻量的 Claude memory:只存「下次会话还需要沿用的稳定约定」(这家的 house style、目标会议、评审人格调校),不存瞬时问题状态。

💡 借鉴点:给多 Agent 系统区分「可变状态(ledger)」与「稳定知识(conventions)」,前者用带状态机的 JSON 管理,后者用记忆沉淀,避免把所有东西都塞进 prompt。

三层如何协作:一轮完整评审流程

把三层拼起来看,一轮 review 模式是这样运转的(完整协议:docs/AGENT-GUIDE.md):

步骤 执行者 产物
① 分解手稿为阅读单元 [det] 脚本 稳定的 passage_id(防锚点漂移的地基)
② 分配 N 位领域评审员 [WF] assign-reviewers 评审小组(作者确认)
③ N 人通读全文提弱点 [WF] reading-check 弱点清单(必须附原文引文)
④ 覆盖审计防略读 [det]+[WF] 略读嫌疑被定向重查
⑤ 语义去重合并 [WF] merge 问题入账本,状态 raised
⑥ 路由:机械/轻微走润色,实质/重大进庭审 [det] 脚本 两条并行轨道
⑦ 庭审:辩护 → 5 人陪审团 → 法官裁定 [WF] trial 三裁定:valid-fixable / author-required / invalid-drop
⑧ 落稿:起草最小补丁 + 编辑安全审计 [WF]+[det] 通过才应用,失败回滚排队
⑨ 书记官对账 + 收敛判定 [WF] clerk 确定性收敛计数(决定何时停)

图例:[WF] = Workflow 语义步骤,[det] = 编排侧确定性脚本,[HUMAN] = 作者确认门槛。

真实跑一轮的效果可以看仓库里的 dogfood 样例:21 页草稿、152 条意见去重成 55 个问题,最终 26 处安全落稿、10 个交回作者、19 条驳回,改后编译 0 error / 0 warning,人工核对报告见 samples/dogfood/RUN_REPORT.zh-CN.md。

经验总结:搭建自己多 Agent 技能的 5 条原则

从 PaperJury 能直接抄走的通用做法:

  1. 🎯 一个 Skill 文件 = 入口 + 路由 + 硬规则,细节协议拆到 references 按需加载;
  2. ⚡ 扇出型语义步骤做成 Workflow(并行 + schema 输出 + 隔离),别用对话模拟并行;
  3. 🔒 确定性检查全部脚本化,插在 workflow 调用之间执行,绝不信任模型的「记账」;
  4. 📖 给系统一本带状态机的账本,跨轮次、跨会话都只信它这一个事实源;
  5. 🛑 人工门槛放在对话层,Workflow 一次跑到底不暂停,需要人拍板的环节回到主会话确认。

上手体验:两条命令安装 PaperJury

想亲手感受这套架构,把它 clone 到 Claude Code 的 skill 目录即可:

git clone https://gitcode.com/gh_mirrors/pa/paperjury ~/.claude/skills/paperjury

然后在你的论文项目里直接说「审稿,重点看实验和 claim 是否站得住」,它就会自动路由到对应模式,且落稿前每个补丁都会先交给你确认。更深入的驱动方式(三种模式触发词、/goal 与 auto 权限的区别)见 docs/AGENT-GUIDE.md。

延伸阅读:引擎设计动机 docs/REVIEW_ENGINE_V3_DESIGN.md · 自动模式协议 references/auto-mode.md · 真实运行报告 samples/dogfood/RUN_REPORT.zh-CN.md

登录后查看全文
paperjury