从PaperJury项目看多Agent技能搭建:Skill+Workflow+Memory架构解析
从PaperJury项目看多Agent技能搭建:Skill+Workflow+Memory架构解析
PaperJury 是一个面向论文投稿前 AI 评审压测的 Claude Code skill(多 Agent 论文评审工具),它把「审稿 → 裁定 → 修改 → 复查」整条对抗式评审链路拆成了 Skill + Workflow + Memory 三层。这篇文章带你拆解这套多 Agent 架构:为什么这样分层、每一层负责什么、以及你如何借鉴它搭建自己的多 Agent 技能。
先说结论:能用脚本确定性检查的,绝不交给模型;需要语义判断的,才交给隔离运行的 Agent。这一条原则贯穿整个项目。
为什么要用多 Agent 架构?AI 评审的三大痛点
用单个 LLM 给论文挑毛病,通常会遇到三个问题:
| 痛点 | 单模型方案的困境 | PaperJury 的解法 |
|---|---|---|
| 🤖 意见不可靠 | 模型可能误读论文、编造问题 | 每条意见要过「庭审」审议,不成立的直接驳回 |
| 🔁 多轮改稿会漂移 | 越改越偏,核心 claim 被悄悄改掉 | 冻结「spine」锚点句 + 编辑安全护栏链 |
| 📌 状态无法持久 | 换一次会话就失忆,问题清单丢失 | Ledger 账本持久化所有问题的状态 |
这三个痛点,恰好对应了三层架构的三个职责。
架构总览:三个原语各管一件事
项目在 SKILL.md 中把这套范式总结为「三个原语」:
Skill = 入口 + 方法论,Workflow = 扇出引擎,Memory = 持久状态 + 学习到的约定。
三者各自承载一个关注点,合在一起替代了手工维护多 Agent 系统时累积的大量「文件和标志位」机制。仓库目录与三层的对应关系非常直观:
| 层 | 目录 | 职责 |
|---|---|---|
| Skill | 根目录 SKILL.md + references/ | 协议、评审规则、写作工具包、人工确认门槛 |
| Workflow | workflows/ | 12 个语义阶段:分配评审、庭审、润色、起草等并行步骤 |
| Memory | scripts/ledger.js + 运行时 LEDGER.json |
跨轮次、跨会话的问题状态机 |
第一层 Skill:定义入口与方法论
Skill 层是整个技能的「大脑」,核心是一份 SKILL.md——它同时是触发入口(Claude Code 靠它自动发现技能)和方法论说明书。
它定义了三件事:
- 三种模式的路由规则。用户在 SKILL.md 中可以直接用自然语言触发:
direct-edit(常用):说「把这段改紧一点」,直接起草补丁,改前等你确认;review(偶尔):说「审稿 / 评审」,启动完整的对抗式评审引擎;auto(无人值守):必须显式通过/goal开启,按漂移受控策略多轮跑向可验证目标。
- 输入如何在运行时解析。技能本身不带任何硬编码路径——论文在哪、投什么会议、谁签字确认,全部在触发时探测或由项目配置提供(配置模板见 configs/config-template.md)。
- 六条硬规则。比如「未经作者显式确认,绝不改手稿」「评审者之间相互隔离」,写在 SKILL.md。
配套的 references/ 目录则存放详细协议:评审引擎 v3 协议(references/review-engine-v3.md)、评审者人格(references/reviewer-personas.md)、账本 schema(references/ledger-schema.md)。
💡 借鉴点:把「入口触发 + 决策路由」写成一份可被 agent 自动加载的 Markdown,把细节协议拆到 references 里按需引用,是控制 Skill 层复杂度的关键。
第二层 Workflow:搭一个并行评审引擎
需要判断语义的步骤,项目全部做成了 Workflow(workflows/ 下共 12 个)。以 v3 庭审引擎为例,一轮评审的扇出链路是:
assign-reviewers → reading-check → coverage-auditor → merge
→ { trial ‖ polish } → recall-audit → drafter
→ { edit-audit | meaning-audit } → clerk
(协议出处:references/review-engine-v3.md)
为什么用 Workflow 而不是直接对话?项目给出了清晰的理由(SKILL.md):
- 并行性由构造保证:N 位评审员同时读全文,不用手写同步逻辑;
- 输出自带 schema 校验:结构化返回,下游可以直接消费;
- 隔离即安全:每个 agent 只看到你喂给它的 prompt,看不到同侪、账本和上一轮结果——「引不出原文引文,就视为没真读」,天然防止略读和锚定效应。
而确定性守卫全部放在 workflow 之外:由主会话(orchestrator)在各 workflow 调用之间用 Bash 跑 Node 脚本,例如分解手稿的 scripts/decompose.js、原子应用补丁的 scripts/apply-patch.js、真实编译检查的 scripts/compile-guard.js。分工原则一句话:扇出走 Workflow,检查走脚本,人审走对话。
第三层 Memory:持久状态与项目约定
Memory 层分两个部分:
1. Ledger 账本 = 机器可读的唯一事实源。
每条 reviewer 意见都是一行「案卷」,字段包括 significance(major/minor)、kind(mechanical/substantive)、evidence_anchor(原文引文)、status 状态机等等,schema 定义见 references/ledger-schema.md。JSON 文件是脚本和自动模式完成判定的事实源,另渲染一份 LEDGER.md 给人看。多轮改稿「改到哪了、哪些问题还开着」全在这本账里,跨会话也不丢。
2. Spine 脊柱 = 防漂移的记忆锚点。
自动模式下没有人在环,最大的风险是越改越偏。解法是把论文的核心句(摘要动机、贡献声明、结果结论等最多 7 句)提取出来、经作者确认后冻结成 spine.json(机制见 references/spine.md)。之后任何编辑碰到锚点,都会触发四态含义审计,不达标就回滚并排队等人工。
还有一层轻量的 Claude memory:只存「下次会话还需要沿用的稳定约定」(这家的 house style、目标会议、评审人格调校),不存瞬时问题状态。
💡 借鉴点:给多 Agent 系统区分「可变状态(ledger)」与「稳定知识(conventions)」,前者用带状态机的 JSON 管理,后者用记忆沉淀,避免把所有东西都塞进 prompt。
三层如何协作:一轮完整评审流程
把三层拼起来看,一轮 review 模式是这样运转的(完整协议:docs/AGENT-GUIDE.md):
| 步骤 | 执行者 | 产物 |
|---|---|---|
| ① 分解手稿为阅读单元 | [det] 脚本 |
稳定的 passage_id(防锚点漂移的地基) |
| ② 分配 N 位领域评审员 | [WF] assign-reviewers |
评审小组(作者确认) |
| ③ N 人通读全文提弱点 | [WF] reading-check |
弱点清单(必须附原文引文) |
| ④ 覆盖审计防略读 | [det]+[WF] |
略读嫌疑被定向重查 |
| ⑤ 语义去重合并 | [WF] merge |
问题入账本,状态 raised |
| ⑥ 路由:机械/轻微走润色,实质/重大进庭审 | [det] 脚本 |
两条并行轨道 |
| ⑦ 庭审:辩护 → 5 人陪审团 → 法官裁定 | [WF] trial |
三裁定:valid-fixable / author-required / invalid-drop |
| ⑧ 落稿:起草最小补丁 + 编辑安全审计 | [WF]+[det] |
通过才应用,失败回滚排队 |
| ⑨ 书记官对账 + 收敛判定 | [WF] clerk |
确定性收敛计数(决定何时停) |
图例:[WF] = Workflow 语义步骤,[det] = 编排侧确定性脚本,[HUMAN] = 作者确认门槛。
真实跑一轮的效果可以看仓库里的 dogfood 样例:21 页草稿、152 条意见去重成 55 个问题,最终 26 处安全落稿、10 个交回作者、19 条驳回,改后编译 0 error / 0 warning,人工核对报告见 samples/dogfood/RUN_REPORT.zh-CN.md。
经验总结:搭建自己多 Agent 技能的 5 条原则
从 PaperJury 能直接抄走的通用做法:
- 🎯 一个 Skill 文件 = 入口 + 路由 + 硬规则,细节协议拆到 references 按需加载;
- ⚡ 扇出型语义步骤做成 Workflow(并行 + schema 输出 + 隔离),别用对话模拟并行;
- 🔒 确定性检查全部脚本化,插在 workflow 调用之间执行,绝不信任模型的「记账」;
- 📖 给系统一本带状态机的账本,跨轮次、跨会话都只信它这一个事实源;
- 🛑 人工门槛放在对话层,Workflow 一次跑到底不暂停,需要人拍板的环节回到主会话确认。
上手体验:两条命令安装 PaperJury
想亲手感受这套架构,把它 clone 到 Claude Code 的 skill 目录即可:
git clone https://gitcode.com/gh_mirrors/pa/paperjury ~/.claude/skills/paperjury
然后在你的论文项目里直接说「审稿,重点看实验和 claim 是否站得住」,它就会自动路由到对应模式,且落稿前每个补丁都会先交给你确认。更深入的驱动方式(三种模式触发词、/goal 与 auto 权限的区别)见 docs/AGENT-GUIDE.md。
延伸阅读:引擎设计动机 docs/REVIEW_ENGINE_V3_DESIGN.md · 自动模式协议 references/auto-mode.md · 真实运行报告 samples/dogfood/RUN_REPORT.zh-CN.md
