Maggy Council多模型评审:AI议会如何揪出PR中的每一个隐藏漏洞

原创2026-11-01 15:24:281,879 阅读

Maggy Council多模型评审:AI议会如何揪出PR中的每一个隐藏漏洞

Maggy 的 Council(专家议会)是一套多模型 AI 评审系统:它把 DeepSeek、Gemini、Grok、GPT 等多个大模型组成评审团,对 PR 和代码变更进行交叉质询、对抗式验证与静态检查,像一场"AI 议会"会议一样揪出人工评审容易漏掉的隐藏漏洞。本文将带你快速理解 Maggy Council 多模型评审的工作原理、配置方式与适用场景。

什么是 Maggy Council 多模型评审

单个 AI 评审模型就像"一个人自说自话":它会自信地给出结论,却可能带着偏见、幻觉或对截断 diff 的误读。Maggy Council 的思路很直接——让多个异构模型互相监督:

  • 首席(Chief):默认由能力最强的模型(如 claude-fable-5)领衔每个评审团,先审并投出最终综合票
  • 评审席(Panel):不同场景配置不同的模型阵容(plan / review / architecture)
  • 阈值表决(Threshold):默认 threshold: 2,即 3 个评审者中 2 个通过才能自动执行
场景 默认评审阵容 触发时机
plan 首席 + DeepSeek Pro、Codex、Gemini Pro 执行任何计划前
review 首席 + DeepSeek Pro、Kimi 代码评审、PR 评审
architecture 首席 + DeepSeek Pro、Gemini Pro、Grok 架构变更、数据库 schema 变更

配置保存在 ~/.claude/council.yaml,模型共 13 个层级(tier 0 最便宜到 tier 13 最强),可按需启用/替换。加载与校验逻辑见 maggy/maggy/services/council_config.py,行为规则定义见 skills/council-review/SKILL.md。

💡 核心思想:单个模型可能出错,但让一群模型互相"抬杠",错误很难蒙混过关。

多模型 PR 评审流水线:漏洞是怎么被揪出来的

Maggy 的 PR 评审流水线(maggy/maggy/review/pipeline.py)分为六个环节,环环相扣:

第一步:Planner 评估爆炸半径(Blast Radius)

评审开始前的"主席规划官"会先分析:这次改动影响哪些文件、符号、接口?是否跨服务边界?是否触碰 认证、数据库迁移、资金或 PII 这类高风险路径?

基于爆炸半径,议会规模按风险动态定级:小改动 2 人评审,中改动 3–4 人,大改动或涉及认证/数据时召集 5 人满席。风险越大,越多人盯。

第二步:超大 PR 的确定性分块(Mega-PR 分块策略)

几百个文件的大 PR 塞不进任何模型的上下文窗口,直接截断只会制造幻觉。Maggy 采用确定性分块:按功能区域(目录归属)把变更文件拆成每块 ≤8 个文件的评审单元,每个评审者只看自己那块完整的、不截断的 diff 切片。所有模型调用都有墙钟超时与并发上限(最多 6 路并行),某个供应商限流 429 会自动熔断跳过,不阻塞整场评审。

第三步:多轮交叉质询(Deliberation)

议会评审最多进行 3 轮(maggy/maggy/council/deliberation.py):

  1. 独立投票:每个模型独立给出 APPROVE / REJECT 和理由
  2. 交叉质询:把第一轮各家的意见摆到桌面上,要求每个模型"重新审视你的立场"
  3. 终审投票:汇总全部立场后投出最终票

任何一轮达成共识就提前收束,避免浪费模型调用。每轮投票都写入审计日志(maggy/maggy/council/audit_log.py),事后可查谁在什么时候投了什么票、为什么。

Maggy Council 多模型评审团对代码变更进行交叉质询的三层代码理解示意

评审团成员还能使用 read_file、grep、get_diff 等工具实地查证——不允许"凭空指控",每条 blocking 级发现都必须附带证据(文件:行号 + 工具输出),否则不予采信。

第四步:对抗式反驳(Refute)——专杀误报

AI 评审的老大难问题是误报:diff 被截断后,模型可能"看到"一个并不存在的翻译缺失或未加功能开关的挂载。Maggy 的对策分两层:

  • 确定性误报过滤器(不经过 LLM,纯代码验证):
    • "缺少翻译 key"?直接 grep 真实的语言包 JSON——如果该文件用到的所有 key 在 en/de 双语言里都能解析,判定为误报,丢弃
    • "没有加 feature flag"?检查组件是不是路由入口——子组件继承宿主路由的开关,基线分支已存在的旧路由不算"新增未受控入口"
  • 对抗式反驳官(Refuter):每个幸存的 blocking 发现都要交给一个"职业怀疑者"模型,它的 KPI 就是尽力推翻这条指控——grep 原始符号、读取相关文件区域,只有找到具体反证才算 refuted;推翻不了,指控维持。

🛡️ 设计哲学:误报一条 blocking 评论的成本很高(浪费作者时间、侵蚀信任),所以宁可多一道"自证清白"的关卡。

第五步:静态门(Static Gate)——编译器说了算

议会读 diff,但从不编译。变量未定义、类型错误、语法错误这类"事实性错误"恰恰是 LLM 最容易漏的。Maggy 在评审并发时同时跑真实的编译器/linter(TypeScript 的 tsc、Python 的 ruff),只提取本次 PR 变更文件上的错误——这些是地面真值(ground truth),直接强制 changes_needed,跳过误报过滤和反驳环节(你没法"反驳" tsc)。实现见 maggy/maggy/review/static_check.py。

第六步:决策矩阵——自动执行还是转人工

评审结果不会一刀切。maggy/maggy/council/executor_gate.py 根据表决结果 + 爆炸半径严重度 + 验证方式输出四种决策:

决策 触发条件 含义
AUTO_EXECUTE 低风险 + 客观验证(测试/类型检查) 直接执行
AUTO_WITH_ROLLBACK 中风险 + 测试覆盖 ≥80% 执行并预置回滚点
AUTO_WITH_NOTIFY 高风险 + 覆盖良好 执行但通知人类
HUMAN_REVIEW 未过表决 / 涉及 auth 或公开 API / 主观变更 转人工

爆炸半径严重度由 maggy/maggy/council/blast_analyzer.py 计算:改了认证相关代码直接 critical;跨 3 个子系统或改动 10+ 文件为 high。

一个完整场景:隐藏漏洞如何被"三杀"

假设一个 PR 同时含有三类问题,看 Council 如何逐一拿下:

  1. 真·隐藏漏洞:某中间件里一个未定义的变量(运行时才会 ReferenceError)。静态门先一步用 tsc 报出 TS 错误——地面真值,直接 blocking;
  2. 误报:另一模型坚持认为"德语翻译缺失"。确定性过滤器扫描语言包,发现所有 key 双语言齐全,误报被机械性地丢弃,日志留下 [det-fp] i18n FP dropped 记录;
  3. 高风险改动:PR 同时改了 session 认证逻辑。爆炸半径判定 critical,即使表决通过也强制 HUMAN_REVIEW——安全关键路径永远留给人拍板。

最终所有 finding 去重合并(按 文件+行号+标题 去重),以 inline 评论形式贴回 PR,并附带本次评审的成本账单(每个模型的 token 用量与美元估算),花费多少一目了然。

快速上手:配置并运行你的 AI 议会

1️⃣ 配置 Council

编辑 ~/.claude/council.yaml(或由 Maggy 仪表盘 Settings > Council 面板管理,接口见 maggy/maggy/api/routes_models.py):

  • 选择首席与评审阵容
  • 设置 threshold(1 到评审人数之间)
  • 用 POST /api/models/health 验证所有模型可用

2️⃣ 运行 PR 评审

安装评审扩展包并配置 GitHub token(请求参数 > Maggy 配置 > 环境变量 GITHUB_TOKEN 三级回退):

pip install maggy-harness[review]

然后通过 API(maggy/maggy/api/routes_pr_review.py)触发评审:

curl -X POST http://localhost:PORT/api/pr-review/run \
  -H "Content-Type: application/json" \
  -d '{"owner": "your-org", "repo": "your-repo", "pr_number": 42, "dry_run": true}'

建议先用 dry_run: true 试跑,确认结果满意再真实回贴。计划评审与架构评审则分别通过 validate-plan --threshold 2 与 review --all 命令触发。

Maggy 仪表盘并行会话界面:多模型评审与任务可在同一指挥中心内并行监控

3️⃣ 审计与复盘

每次议会的轮次、票数、阈值、爆炸半径、最终决策都持久化在 SQLite 中,可用 recent() 按会话回看,stats() 查看自动执行 vs 人工复核的比例——这是持续调优阈值和阵容的数据来源。

适合谁使用

  • 🚀 多模型重度用户:手里有多个厂商 API key,想让它们各司其职而不是只跑一个
  • 📦 大 PR 频发的团队:确定性分块 + 并发限流,让百文件级 PR 也能被完整覆盖评审
  • 🤖 追求自动化合入的工程团队:决策矩阵让低风险改动自动执行、高风险改动留给人,自动化与安全性兼得
  • 🔍 被 AI 评审误报折磨过的开发者:对抗式反驳 + 确定性过滤,把误报率压到最低

核心源码导航

模块 路径 职责
议会数据模型 maggy/maggy/council/models.py 上下文包、投票、决策结构
多轮质询引擎 maggy/maggy/council/deliberation.py 3 轮投票与共识判定
执行决策门 maggy/maggy/council/executor_gate.py 自动执行 vs 人工复核矩阵
爆炸半径分析 maggy/maggy/council/blast_analyzer.py 严重度分级
审计日志 maggy/maggy/council/audit_log.py SQLite 决策持久化
PR 评审流水线 maggy/maggy/review/pipeline.py 分块、评审、反驳、合并
评审代理定义 maggy/maggy/review/agents.py Planner/Reviewer/Chair/Refuter 提示词
静态门 maggy/maggy/review/static_check.py tsc/ruff 确定性检查
模型花名册与计费 maggy/maggy/review/config.py 评审团阵容、token 成本
议会配置 maggy/maggy/services/council_config.py council.yaml 加载与校验
评审技能规范 skills/council-review/SKILL.md 何时自动触发评审

让 AI 议会替你盯紧每一行 diff——Maggy Council 多模型评审,把"隐藏漏洞"变成"无处藏身"。

登录后查看全文
maggy