PostHog ReviewHog 验证器模型评估运行报告深度解读:K-sol-validator-3-max 的评审漏斗、裁决质量与安全边界
PostHog ReviewHog 验证器模型评估运行报告深度解读:K-sol-validator-3-max 的评审漏斗、裁决质量与安全边界
导读:本文基于 PostHog 仓库中 ReviewHog(自动化 GitHub PR 代码评审器)验证器模型评估实验的一轮真实运行报告 K-sol-validator-3-max,完整还原 ReviewHog 评审流水线的一次端到端执行:从冻结 PR 分块、三视角并行评审、盲点扫描、去重,到逐条验证裁决。你将看到一份可复现的漏斗数据与阶段耗时表,读懂 7 条候选发现的验证器裁决全过程(含 6 条 VALID、1 条 dismissed),并理解其中关于 fail-closed 安全校验、事务外发(outbox)可靠性、provenance 信任边界等工程结论。读完可直接用同目录下的 PLAN.md 与 FINAL_REPORT.md 复现整套评估方法。
1. 这份运行报告在实验中的位置
ReviewHog(products/review_hog)是 PostHog 开源的自动 PR 评审器:一条 Django 应用 + Temporal 工作流把 PR 拆成可独立评审的分块(chunk),为每个分块挑选需要的视角(perspective),在沙箱 Agent 中并行运行视角评审,再经过去重和验证(validation),最终把评审意见发布回 PR。完整流水线见 ARCHITECTURE.md 中的 ReviewPRWorkflow 图。
本轮 K-sol-validator-3-max 是 2026-08-validator-model-sol 实验(目录:products/review_hog/eval/experiments/2026-08-validator-model-sol)的第 3 轮运行。实验的核心问题是:gpt-5.6-sol(Codex 运行时)能否以更低成本、更快速度替代 Claude Opus 担任验证器,且不损失裁决质量? 运行报告记录了:
- Dumped:
2026-08-25T21:36:55+00:00 - Report id:
01a03aaa-bc4d-7c6d-ba33-20a87f55e8fc· 评审对象为 PR #75215 - Head:
a7fb363bef6947e4e7fc30a0fe8a0a4cc4deaa82· run_count:1 · status:idle - Wall-clock:3095s(约 51.6 分钟)
为保证可比性,本轮复用与前两轮(K1、K2)相同的冻结实验条件:同一 PR 的同一 commit、pinned_chunks.json 固定的分块、零评论的"干净房间"(评审时 PR 上的既有评论被 mock 为空)。实验设计与运行日志见 PLAN.md。
2. 运行配置快照:验证器与分块门槛
报告开头的 Config snapshot 是判断本轮评估有效性的第一手依据:
runtime / model / effort: codex / gpt-5.6-sol / xhigh
single-chunk gate / chunk target / soft-max additions = 400 / 300 / 600
- runtime / model / effort:验证器使用 Codex 适配器 +
gpt-5.6-sol,意图以xhigh(本轮名中的 "max" 表示希望以最高推理力度运行)。需要说明的是,实验日志与最终报告揭示了一个关键背景:由于@posthog/agent中 Codex 适配器未把reasoning_effort透传进 per-turn 的collaborationMode,K1–K3 中所有gpt-5.6-sol调用实际都以$ai_effort=low运行(该 Bug 由 PR #88893 修复)。因此本轮数据描述的是 Sol 在低 effort 下的验证器行为,xhigh/max是配置意图而非实际生效值——这正是该实验后续(2026-08-26)追加四轮"真 xhigh"运行的原因。 - single-chunk gate / chunk target / soft-max = 400 / 300 / 600:对应 ReviewHog 的分块策略——新增行数 ≤400 时单块直出(不调用分块 LLM);
chunk target300 与 soft-max 600 是分块 LLM 的目标/软上限,指导模型把变更文件按内聚性分组。更完整的门槛体系(400 / 5000 / 沙箱分块)见 ARCHITECTURE.md 的 Preflight 章节。
3. 评审漏斗与成本
这是整轮运行最核心的量化结果:
| chunks | review units | raw issues | after dedup | passed validator |
|---|---|---|---|---|
| 4 | 13 | 10 | 7 | 6 |
- review units 的定义:每一个
(perspective | blind-spot × chunk)的沙箱评审即一个单元,是"模型持有量恒定"的成本代理——本轮 4 个分块 × 3 个视角 + 4 个盲点扫描,共 13 个单元。 - 漏斗显示:13 个评审单元产出 10 条原始发现 → 去重后 7 条 → 验证器放行 6 条。验证器在入口处拦截了约 1/7 的候选(约 14%),是评审质量的第一道闸门。
- cache-aware spend:报告注明窗口期内没有
$ai_generation事件(事件可能发往了云项目、或尚未被摄入),因此本轮的成本表为空。配套的K-sol-validator-3-max.usage.md(见 runs 目录)记录了基于 Agent 日志的 token 用量:validation 阶段 3 个会话、7 轮、fresh in 25,645 / cache read 344,639 / output 2,832。最终报告指出 Agent 日志法因只统计每轮最后一次 LLM 调用而低估 3–4 倍,网关口径下本轮验证成本为 $1.44(37 次调用)。
4. 各阶段耗时
| stage | duration |
|---|---|
| fetch + snapshot | 0s |
| chunking | 0s |
| perspective selection | 15s |
| review wave (perspectives) | 33m 29s |
| blind-spot sweep | 2m 26s |
| dedup (incl. combine/clean) | 1m 17s |
| validation | 13m 50s |
- Review stage total(selection → 最后一个 finder 单元,wave + blind-spot):35m 55s——这是 reviewer 模型速度的横向比较数。
- 两个 0s 阶段是有意为之:chunking 使用
pinned_chunks.json固定分块,fetch + snapshot 因复用冻结 PR 而无需重新抓取。 - 耗时异常点在于 review wave 长达 33m29s。实验日志(PLAN.md)还原了原因:4/9 个沙箱在同一 5 秒窗口内以 Codex
stopReason=refusal结束回合且无法上报完成(fetch failed),worker 等待完整 1800s 轮询超时后才重试,4 个重试均在约 3 分钟内完成。这属于沙箱/网关瞬时故障而非评审本身耗时,是"墙钟时长 ≠ 模型能力"的典型提醒。 - 报告注明:各阶段时长来自 artefact 的
created_at(完成时持久化),仅对全新、非恢复运行的运行有意义。
5. 分块结果:按逻辑内聚性归组变更文件
本轮把 PR 的变更文件分成 4 个分块(每块按评审优先级排序):
- chunk 1(8 文件):
products/review_hog/backend/models.py、products/review_hog/backend/migrations/0019_reviewusersettings_stamphog_review_inbox_prs.py、products/review_hog/backend/api/settings.py、products/review_hog/backend/receivers.py、products/review_hog/frontend/CodeReviewScene.tsx、products/review_hog/frontend/generated/api.schemas.ts、products/review_hog/frontend/generated/api.zod.ts、services/mcp/src/api/generated.ts——即 ReviewHog 后端 + 前端 + 生成类型。 - chunk 2(8 文件):
products/stamphog/backend/facade/api.py、products/stamphog/backend/facade/inbox_hooks.py、products/stamphog/backend/tasks/tasks.py、products/stamphog/backend/temporal/activities.py、products/stamphog/backend/logic/reviewer.py、products/tasks/backend/facade/api.py、products/tasks/backend/facade/contracts.py、tach.toml——StampHog 与 Tasks 门面层。 - chunk 3(4 文件):
tools/pr-approval-agent/review_pr.py、review_local.py、reviewer.py、version.py——PR 审批 Agent 工具链。 - chunk 4(2 文件):
products/stamphog/AGENTS.md、README.md——文档类变更单独成块。
可以看到分块遵循"层边界 + 产品边界 + 文档隔离"的内聚原则,这正是 ReviewHog 分块提示词要求模型做的事(见 ARCHITECTURE.md Prompts 章节 chunking/prompt.jinja)。
6. 评审单元明细:视角矩阵
每个 (pass × chunk) 是一个沙箱评审单元。pass 1–3 对应三个视角(Contracts & Security、Logic & Correctness、Performance & Reliability),pass 1000 是盲点扫描(每块一次,被告知哪些透镜已运行):
| pass | chunk | perspective | raw issues |
|---|---|---|---|
| 1 | 1 | review-hog-perspective-contracts-security | 2 |
| 1 | 2 | review-hog-perspective-contracts-security | 1 |
| 1 | 3 | review-hog-perspective-contracts-security | 1 |
| 2 | 1 | review-hog-perspective-logic-correctness | 1 |
| 2 | 2 | review-hog-perspective-logic-correctness | 2 |
| 2 | 3 | ? | 0 |
| 3 | 1 | review-hog-perspective-performance-reliability | 1 |
| 3 | 2 | review-hog-perspective-performance-reliability | 1 |
| 3 | 3 | ? | 0 |
| 1000 | 1 | ? | 0 |
| 1000 | 2 | ? | 0 |
| 1000 | 3 | review-hog-blind-spots-general | 1 |
| 1000 | 4 | ? | 0 |
要点:
- 三个视角相互隔离、无跨视角上下文,重叠交给去重阶段处理(这是 ReviewHog 的既定设计,见 ARCHITECTURE.md 第 5 步)。
- 部分单元视角标记为
?且产出 0——表示视角选择阶段未选中该组合(selection 是廉价的 one-shot,失败时 fail-open 到全量视角)。 - 盲点扫描在 chunk 3 贡献了唯一一条 blind-spot 发现(即下文第 5 条"草稿声明"问题),说明它确实能补上视角评审的遗漏。
7. 发现与验证器裁决:7 条候选的完整审理
去重后共 7 条发现进入验证器。验证器(本例为 Sol)以"每个分块一个热会话、每轮一个裁决"的方式逐条审理(机制见 ARCHITECTURE.md 第 8 步 Validate:keep/drop 标准通过 MCP skill-get(review-hog-validation-criteria, version=N) 拉取团队拥有的验证标准技能,源码位于 products/review_hog/skills/review-hog-validation-criteria/SKILL.md)。下面逐条呈现裁决。
7.1 [❌ dismissed] must_fix · security —— 将门控标志校验为 JSON 布尔值
位置:tools/pr-approval-agent/review_local.py:321
- 问题:
bool()转换会让任何 truthy 值都触发安全豁免。例如 JSON 字符串"false"即可绕过 bot 作者与草稿门控。该输入控制审批策略边界,畸形上下文必须 fail-closed。 - 建议:要求精确的 JSON 布尔:
self_driving=context.get("self_driving_review") is True,拒绝其他存在类型或视为 false,并为"false"、1、非空对象补充测试。 - 验证器审理:追溯了该标志从
products/stamphog/backend/temporal/activities.py:451(活动把持久化的 provenance 转成bool再构建上下文)→products/stamphog/backend/logic/reviewer.py:101与:131的完整链路;发现上下文文件由服务端创建,PR 内容无法直接设置self_driving_review,因此报告中提到的字符串/数字/对象值无法通过生产调用路径到达review_local.py:321。结论:精确类型校验只能防御一个"已损坏的可信调用方",不满足验证门槛 → dismissed。这是典型的"可读路径不等于可达路径"的反证推理。
7.2 [✅ VALID] must_fix · bug —— 无作用域的 task-run 查询在事后过滤时会掩盖正确运行
位置:products/tasks/backend/facade/api.py:507-513
- 问题:
find_task_run先跨所有团队、所有任务类型查询,facade 之后才检查team_id、signal_report_id、internal。PR URL 查询选择最新匹配运行,分支查询选择未排序的首行——另一团队或手动任务的运行可能胜出,facade 返回None而真实匹配的 signals 实现运行被跳过,StampHog 将错过该有效运行的后续评审。 - 建议:把
team_id、task__signal_report_id__isnull=False、task__internal=False下沉进查询,分支匹配增加确定性排序;专用 facade 查询比"先调通用find_task_run再过滤"更安全。 - 验证器审理:
find_signal_implementation_run→find_task_run中,PR URL 查询仅在products/tasks/backend/webhooks.py:41-56按 URL 与仓库过滤;分支查询在webhooks.py:68-75用无排序的.first();facade 在api.py:504-509于查询后才拒绝选中行且不再搜索其他有效运行。影响链:碰撞运行造成假阴性 → 调用方在products/stamphog/backend/tasks/tasks.py:191-200返回空豁免 → StampHog 跳过有效复审。
7.3 [✅ VALID] should_fix · bug —— Broker 故障会永久丢弃初次评审
位置:products/review_hog/backend/receivers.py:225-234
- 问题:回调发布的是唯一的初次评审任务;它捕获最终 broker 错误后不保存任何重试状态,TaskRun 后续未必再次保存,评审可能永久丢失。
- 建议:在同一数据库事务中创建持久化分发记录(durable dispatch record),由带重试的 worker 处理待处理记录并在成功发布后标记;为重试耗尽增加指标或告警。
- 验证器审理:
handle_task_run_saved在receivers.py:131注册一次性回调,_start_stamphog_review在receivers.py:224-234捕获发布错误;queue_inbox_pr_review在products/stamphog/backend/facade/api.py:149调用.delay(),而products/stamphog/backend/tasks/tasks.py:1109的重试只在 broker 接受任务后生效;代码在发布前不记录 pending dispatch,仅靠"之后的 TaskRun 输出保存"可能重试,但无人保证该保存发生。
7.4 [✅ VALID] should_fix · bug —— Broker 故障可永久丢失初次评审(门面侧)
位置:products/stamphog/backend/facade/api.py:151-157
- 问题:该 broker 发布是初次评审的唯一交接点,调用方捕获发布失败仅记日志;数据库提交后的 broker 中断即可永久丢失评审,后续 TaskRun 保存未必重发。
- 建议:在与 TaskRun 更新相同的事务里存储分发记录,由可重试 worker 发布并标记为已发送;若无 outbox,则为失败发布增加持久重试机制,而非依赖另一次模型保存。
- 验证器审理:receiver 在
products/review_hog/backend/receivers.py:126-139于数据库提交后调度一次发布;receivers.py:224-234捕获一切发布错误仅写日志;products/stamphog/backend/tasks/tasks.py:1109-1112的 Celery 重试无法挽回失败发布;receivers.py:72-89中后续 TaskRun 输出保存虽可重复分发,但代码不保证再有保存。
7.3 与 7.4 本质是同一族问题(broker/重试加固)的两个实例——初次评审仅靠"事务提交后的 on_commit 回调 +
.delay()"单点交接,缺一个事务性 outbox。这也正是最终报告中被判定"非真实"的家族之一(详见第 8 节)。
7.5 [✅ VALID] should_fix · bug —— 不要声称每个 self-driving PR 都是草稿
位置:tools/pr-approval-agent/reviewer.py:696-699
- 问题:可信提示词固定声称"该 PR 是草稿";后续
synchronize事件会在 PR 变为 ready 后再次评审同一 PR,模型于是收到错误的可信上下文。 - 建议:把草稿指导改为条件于
pr.draft,或改为"self-driving 评审可运行在草稿上"而不断言当前 PR 是草稿。 - 验证器审理:
synchronize事件在 PR ready 后仍可走 self-driving 豁免,_inbox_rereview_carve_out在products/stamphog/backend/tasks/tasks.py:147不要求pr["draft"];_format_self_driving只接收分类结果,却在tools/pr-approval-agent/reviewer.py:698恒称当前 PR 为草稿(提示词构建在reviewer.py:506)。影响:对 ready PR 的 push 会给模型注入假的可信状态,可能影响裁决与推理。
7.6 [✅ VALID] must_fix · security —— 初次评审任务信任过期且未经验证的 provenance
位置:products/stamphog/backend/tasks/tasks.py:1107-1178
- 问题:worker 直接信任队列消息中的
team_id、acting_user_id、signal_report_id、task_run_id、pr_url,只检查仓库配置匹配与 PR 处于打开状态,不验证 task run 归属团队、不验证该 task run 产出此 PR、不验证 bot 作者/repo-native head/当前 reviewer toggle。任务输出可指向已配置仓库中的另一个 PR,从而以self_driving_review特权路径创建评审并发布审批;toggle 在 worker 启动前变更也仍会照跑。 - 建议:在 worker 内通过 team-scoped tasks facade 重新解析
task_run_id,核对 signal report、repository、存储的 PR URL;GitHub 抓取后要求 bot 作者且head.repo.full_name匹配配置仓库;再次调用注册的 reviewer resolver 并使用其返回的用户 ID;任一检查失败即停止;Celery 消息尽量只传稳定标识符。 - 验证器审理:
output.pr_url用户可写(文档化于products/tasks/backend/temporal/code_workstreams/activities/load_pr_urls.py:23-31);worker 在tasks.py:1130-1153只解析 URL 仓库与团队仓库配置,从不加载task_run_id校验;tasks.py:1158-1174只检查 PR 状态与 head SHA,不查作者与 head 仓库;tasks.py:1176-1181把队列 provenance 原样拷入inbox_review,该值在products/stamphog/backend/temporal/activities.py:448-451开启self_driving_review;而 webhook 路径在tasks.py:167-207补齐了 bot、repo-native head、任务关联与当前 toggle 检查——初次评审路径与 webhook 路径的信任水位不一致,是真正的授权边界缺陷。
7.7 [✅ VALID] must_fix · bug —— StampHog 忽略次要评审者的已启用设置
位置:products/review_hog/backend/receivers.py:111-127,151-155
- 问题:代码先选定唯一 acting reviewer,再检查其 StampHog 设置;若该用户关闭了 StampHog,即使其他被指派评审者已开启也会跳过评审,webhook resolver 重复同一行为,与"任一 opted-in 被指派评审者可启用评审"的需求冲突。
- 建议:从所有被指派评审者中解析 StampHog reviewer:优先任务创建者(若其被指派且 opted-in),否则取第一个开启
stamphog_review_inbox_prs的被指派者;初评与 webhook 复审使用同一选择逻辑。 - 验证器审理:
_resolve_assigned_reviewer在receivers.py:202-207返回单一 canonical 用户,初评在receivers.py:114-126只查该用户设置;resolve_stamphog_acting_reviewer在receivers.py:151-155同一用户 opted-out 时返回None;DECISIONS.md 的 canonical-user 规则只定义 ReviewHog 选项归属,并未建立新的 StampHog toggle 的 any-reviewer 规则。
从源码结构看,products/review_hog/backend/receivers.py 中 _pick_stamphog_reviewer(第 170-183 行)确实已实现"任一被指派者 opted-in 即可"的挑选逻辑(opted_in = [user for user in resolved if settings_by_user[user.id].stamphog_review_inbox_prs]),说明该语义在部分调用点存在、但初评触发点仍先走单用户路径——与 7.7 的判断互相印证。
8. 从最终评分看验证器质量:本轮裁决的"后验真值"
运行报告是快照,实验的最终评分在 FINAL_REPORT.md 中给出。打分方法:把每条发现匹配到该 PR 的 76 个已知问题簇(known_clusters.json,源自 7 月裁判文件);一致簇沿用簇裁决,混合簇在冻结工作树上逐条"反证优先"人工复核(findings/verify/)。
K3 的 7 条发现全部命中已知簇(KC.match.json),其中 5 条与 K2 完全同文(KC2=KB1、KC3=KB3、KC4=KB4、KC5=KB2、KC6=KB6、KC7=KB8,KC1=KA3)。真值(findings/KC.truth.json)与得分(findings/KC.score.md):
| 指标 | K3 结果 |
|---|---|
| kept-real(保留中真实比例) | 3/6(50%) |
| real-kept(真实发现召回) | 3/3(100%) |
| not-real dropped(非真实拦截率) | 1/4(25%) |
要点:
- 所有真实发现都被保留:receiver-leg provenance 漏洞(KC6,must_fix)、单 acting-reviewer toggle(KC7,should_fix)、过期"草稿"文案(KC5,consider)。
- 保留的一半不真实,且与 K2 是同一个三族:无作用域
find_task_run查询(KC2——最终报告指出查询实为仓库级作用域、跨团队返回 None 的契约已有测试,Sol 却两轮都标 must_fix);broker/重试加固诉求(KC3+KC4——复刻 webhook 路径的既有刻意设计,且由后续 re-fire 覆盖);以及(K2 独有的)队列时 toggle 信任问题。 - 丢弃的那条是对的:KC1(JSON 布尔强制转换 nit)在 7 月已被反证 7 次,Sol 本轮正确 dismiss。
- 对照实验:7 月同一 PR 上 Opus 4.8 看到 16 条非真实发现全部丢弃;而 Sol 在 K2/K3 各保留 3 条非真实。结论是 Sol(低 effort 下)作为验证器"几乎什么都保留"——最终报告据此建议维持 Opus 作为验证器,而把 Sol 的
xhigh档位留给 reviewer 侧使用(3 倍真实发现/轮、发现 8 个此前 18 次评审都未上报的真实问题)。
9. 从本轮运行提炼的工程启示
- 安全边界必须 fail-closed,且"不可达"是有效的反证依据。7.1 的裁决展示了验证器正确的工作方式:找到
bool()转换点后,继续追查该输入的完整生产路径,发现 PR 内容根本无法设置该字段,从而判定"防御一个已损坏的可信调用方"不满足门槛。评估验证器时,"可达性"比"字面缺陷"更重要。 - 单点交接是分布式系统最脆弱的承诺。7.3/7.4 两条都指向同一模式:数据库事务提交后才用
transaction.on_commit回调 + Celery.delay()发布唯一任务,broker 故障即静默丢失。工程上应引入事务性 outbox:同一事务写分发记录,重试 worker 发布成功后再标记。这也是当前 ARCHITECTURE.md 中公开承认的可靠性盲区。 - provenance 信任边界必须与调用路径对齐。7.6 指出初次评审任务信任队列里的全部标识符,而 webhook 路径补齐了 bot、repo-native head、任务关联与 toggle 检查——同一条业务的两条入口信任水位不一致,就构成授权绕过。凡涉及审批/豁免语义的字段,要么在 worker 内重解析(team-scoped、DB 校验),要么只传稳定标识符。
- 评估方法论本身可复用。冻结 PR + 固定分块 + 零评论干净房间 + 已知问题注册表 + "反证优先"人工复核,是衡量"验证器是否真的把好关"的可靠实验设计。任何想度量 LLM 代码评审质量的项目都可以复制这套框架(完整脚本与真值文件都在
products/review_hog/eval/experiments/2026-08-validator-model-sol/下,包括scripts/与findings/verify/)。 - 墙钟时长不等于模型能力。33 分钟的 review wave 是沙箱
stopReason=refusal+ 1800s 轮询超时造成的,与模型本身无关;解读任何一轮运行耗时前,先核对 PLAN/运行日志中的基础设施事故。
10. 深入阅读
- 实验设计与运行日志:PLAN.md(含 K1/K2/K3 逐轮记录、effort 修复验证、L/M/N/P 各臂后续运行)
- 最终结论与推荐:FINAL_REPORT.md
- 同目录其他运行对照:K-sol-validator-2.md、K-sol-validator-3-max.usage.md
- 流水线架构与验证机制:ARCHITECTURE.md(Validate 阶段、沙箱执行层、数据模型)
- 决策记录:DECISIONS.md
- 团队可定制的验证标准技能:review-hog-validation-criteria/SKILL.md 与三个视角技能
products/review_hog/skills/review-hog-perspective-{logic-correctness,contracts-security,performance-reliability}/SKILL.md - 本轮发现的被审代码:
products/stamphog/backend/tasks/tasks.py、products/review_hog/backend/receivers.py、products/stamphog/backend/facade/api.py、products/tasks/backend/facade/api.py、tools/pr-approval-agent/reviewer.py