Maggy Council多模型评审:AI议会如何揪出PR中的每一个隐藏漏洞
Maggy Council多模型评审:AI议会如何揪出PR中的每一个隐藏漏洞
Maggy 的 Council(专家议会)是一套多模型 AI 评审系统:它把 DeepSeek、Gemini、Grok、GPT 等多个大模型组成评审团,对 PR 和代码变更进行交叉质询、对抗式验证与静态检查,像一场"AI 议会"会议一样揪出人工评审容易漏掉的隐藏漏洞。本文将带你快速理解 Maggy Council 多模型评审的工作原理、配置方式与适用场景。
什么是 Maggy Council 多模型评审
单个 AI 评审模型就像"一个人自说自话":它会自信地给出结论,却可能带着偏见、幻觉或对截断 diff 的误读。Maggy Council 的思路很直接——让多个异构模型互相监督:
- 首席(Chief):默认由能力最强的模型(如
claude-fable-5)领衔每个评审团,先审并投出最终综合票 - 评审席(Panel):不同场景配置不同的模型阵容(plan / review / architecture)
- 阈值表决(Threshold):默认
threshold: 2,即 3 个评审者中 2 个通过才能自动执行
| 场景 | 默认评审阵容 | 触发时机 |
|---|---|---|
plan |
首席 + DeepSeek Pro、Codex、Gemini Pro | 执行任何计划前 |
review |
首席 + DeepSeek Pro、Kimi | 代码评审、PR 评审 |
architecture |
首席 + DeepSeek Pro、Gemini Pro、Grok | 架构变更、数据库 schema 变更 |
配置保存在 ~/.claude/council.yaml,模型共 13 个层级(tier 0 最便宜到 tier 13 最强),可按需启用/替换。加载与校验逻辑见 maggy/maggy/services/council_config.py,行为规则定义见 skills/council-review/SKILL.md。
💡 核心思想:单个模型可能出错,但让一群模型互相"抬杠",错误很难蒙混过关。
多模型 PR 评审流水线:漏洞是怎么被揪出来的
Maggy 的 PR 评审流水线(maggy/maggy/review/pipeline.py)分为六个环节,环环相扣:
第一步:Planner 评估爆炸半径(Blast Radius)
评审开始前的"主席规划官"会先分析:这次改动影响哪些文件、符号、接口?是否跨服务边界?是否触碰 认证、数据库迁移、资金或 PII 这类高风险路径?
基于爆炸半径,议会规模按风险动态定级:小改动 2 人评审,中改动 3–4 人,大改动或涉及认证/数据时召集 5 人满席。风险越大,越多人盯。
第二步:超大 PR 的确定性分块(Mega-PR 分块策略)
几百个文件的大 PR 塞不进任何模型的上下文窗口,直接截断只会制造幻觉。Maggy 采用确定性分块:按功能区域(目录归属)把变更文件拆成每块 ≤8 个文件的评审单元,每个评审者只看自己那块完整的、不截断的 diff 切片。所有模型调用都有墙钟超时与并发上限(最多 6 路并行),某个供应商限流 429 会自动熔断跳过,不阻塞整场评审。
第三步:多轮交叉质询(Deliberation)
议会评审最多进行 3 轮(maggy/maggy/council/deliberation.py):
- 独立投票:每个模型独立给出 APPROVE / REJECT 和理由
- 交叉质询:把第一轮各家的意见摆到桌面上,要求每个模型"重新审视你的立场"
- 终审投票:汇总全部立场后投出最终票
任何一轮达成共识就提前收束,避免浪费模型调用。每轮投票都写入审计日志(maggy/maggy/council/audit_log.py),事后可查谁在什么时候投了什么票、为什么。
评审团成员还能使用 read_file、grep、get_diff 等工具实地查证——不允许"凭空指控",每条 blocking 级发现都必须附带证据(文件:行号 + 工具输出),否则不予采信。
第四步:对抗式反驳(Refute)——专杀误报
AI 评审的老大难问题是误报:diff 被截断后,模型可能"看到"一个并不存在的翻译缺失或未加功能开关的挂载。Maggy 的对策分两层:
- 确定性误报过滤器(不经过 LLM,纯代码验证):
- "缺少翻译 key"?直接 grep 真实的语言包 JSON——如果该文件用到的所有 key 在 en/de 双语言里都能解析,判定为误报,丢弃
- "没有加 feature flag"?检查组件是不是路由入口——子组件继承宿主路由的开关,基线分支已存在的旧路由不算"新增未受控入口"
- 对抗式反驳官(Refuter):每个幸存的 blocking 发现都要交给一个"职业怀疑者"模型,它的 KPI 就是尽力推翻这条指控——grep 原始符号、读取相关文件区域,只有找到具体反证才算 refuted;推翻不了,指控维持。
🛡️ 设计哲学:误报一条 blocking 评论的成本很高(浪费作者时间、侵蚀信任),所以宁可多一道"自证清白"的关卡。
第五步:静态门(Static Gate)——编译器说了算
议会读 diff,但从不编译。变量未定义、类型错误、语法错误这类"事实性错误"恰恰是 LLM 最容易漏的。Maggy 在评审并发时同时跑真实的编译器/linter(TypeScript 的 tsc、Python 的 ruff),只提取本次 PR 变更文件上的错误——这些是地面真值(ground truth),直接强制 changes_needed,跳过误报过滤和反驳环节(你没法"反驳" tsc)。实现见 maggy/maggy/review/static_check.py。
第六步:决策矩阵——自动执行还是转人工
评审结果不会一刀切。maggy/maggy/council/executor_gate.py 根据表决结果 + 爆炸半径严重度 + 验证方式输出四种决策:
| 决策 | 触发条件 | 含义 |
|---|---|---|
AUTO_EXECUTE |
低风险 + 客观验证(测试/类型检查) | 直接执行 |
AUTO_WITH_ROLLBACK |
中风险 + 测试覆盖 ≥80% | 执行并预置回滚点 |
AUTO_WITH_NOTIFY |
高风险 + 覆盖良好 | 执行但通知人类 |
HUMAN_REVIEW |
未过表决 / 涉及 auth 或公开 API / 主观变更 | 转人工 |
爆炸半径严重度由 maggy/maggy/council/blast_analyzer.py 计算:改了认证相关代码直接 critical;跨 3 个子系统或改动 10+ 文件为 high。
一个完整场景:隐藏漏洞如何被"三杀"
假设一个 PR 同时含有三类问题,看 Council 如何逐一拿下:
- 真·隐藏漏洞:某中间件里一个未定义的变量(运行时才会
ReferenceError)。静态门先一步用tsc报出 TS 错误——地面真值,直接 blocking; - 误报:另一模型坚持认为"德语翻译缺失"。确定性过滤器扫描语言包,发现所有 key 双语言齐全,误报被机械性地丢弃,日志留下
[det-fp] i18n FP dropped记录; - 高风险改动:PR 同时改了 session 认证逻辑。爆炸半径判定 critical,即使表决通过也强制
HUMAN_REVIEW——安全关键路径永远留给人拍板。
最终所有 finding 去重合并(按 文件+行号+标题 去重),以 inline 评论形式贴回 PR,并附带本次评审的成本账单(每个模型的 token 用量与美元估算),花费多少一目了然。
快速上手:配置并运行你的 AI 议会
1️⃣ 配置 Council
编辑 ~/.claude/council.yaml(或由 Maggy 仪表盘 Settings > Council 面板管理,接口见 maggy/maggy/api/routes_models.py):
- 选择首席与评审阵容
- 设置
threshold(1 到评审人数之间) - 用
POST /api/models/health验证所有模型可用
2️⃣ 运行 PR 评审
安装评审扩展包并配置 GitHub token(请求参数 > Maggy 配置 > 环境变量 GITHUB_TOKEN 三级回退):
pip install maggy-harness[review]
然后通过 API(maggy/maggy/api/routes_pr_review.py)触发评审:
curl -X POST http://localhost:PORT/api/pr-review/run \
-H "Content-Type: application/json" \
-d '{"owner": "your-org", "repo": "your-repo", "pr_number": 42, "dry_run": true}'
建议先用 dry_run: true 试跑,确认结果满意再真实回贴。计划评审与架构评审则分别通过 validate-plan --threshold 2 与 review --all 命令触发。
3️⃣ 审计与复盘
每次议会的轮次、票数、阈值、爆炸半径、最终决策都持久化在 SQLite 中,可用 recent() 按会话回看,stats() 查看自动执行 vs 人工复核的比例——这是持续调优阈值和阵容的数据来源。
适合谁使用
- 🚀 多模型重度用户:手里有多个厂商 API key,想让它们各司其职而不是只跑一个
- 📦 大 PR 频发的团队:确定性分块 + 并发限流,让百文件级 PR 也能被完整覆盖评审
- 🤖 追求自动化合入的工程团队:决策矩阵让低风险改动自动执行、高风险改动留给人,自动化与安全性兼得
- 🔍 被 AI 评审误报折磨过的开发者:对抗式反驳 + 确定性过滤,把误报率压到最低
核心源码导航
| 模块 | 路径 | 职责 |
|---|---|---|
| 议会数据模型 | maggy/maggy/council/models.py | 上下文包、投票、决策结构 |
| 多轮质询引擎 | maggy/maggy/council/deliberation.py | 3 轮投票与共识判定 |
| 执行决策门 | maggy/maggy/council/executor_gate.py | 自动执行 vs 人工复核矩阵 |
| 爆炸半径分析 | maggy/maggy/council/blast_analyzer.py | 严重度分级 |
| 审计日志 | maggy/maggy/council/audit_log.py | SQLite 决策持久化 |
| PR 评审流水线 | maggy/maggy/review/pipeline.py | 分块、评审、反驳、合并 |
| 评审代理定义 | maggy/maggy/review/agents.py | Planner/Reviewer/Chair/Refuter 提示词 |
| 静态门 | maggy/maggy/review/static_check.py | tsc/ruff 确定性检查 |
| 模型花名册与计费 | maggy/maggy/review/config.py | 评审团阵容、token 成本 |
| 议会配置 | maggy/maggy/services/council_config.py | council.yaml 加载与校验 |
| 评审技能规范 | skills/council-review/SKILL.md | 何时自动触发评审 |
让 AI 议会替你盯紧每一行 diff——Maggy Council 多模型评审,把"隐藏漏洞"变成"无处藏身"。

