PostHog ReviewHog 验证器模型评估运行报告深度解读:K-sol-validator-3-max 的评审漏斗、裁决质量与安全边界

原创2026-09-18 17:00:081,990 阅读
文章标签:数据分析数据可视化实时分析后端前端可观测性大数据数据仓库企业应用屏幕录制AI 应用

PostHog ReviewHog 验证器模型评估运行报告深度解读:K-sol-validator-3-max 的评审漏斗、裁决质量与安全边界

导读:本文基于 PostHog 仓库中 ReviewHog(自动化 GitHub PR 代码评审器)验证器模型评估实验的一轮真实运行报告 K-sol-validator-3-max,完整还原 ReviewHog 评审流水线的一次端到端执行:从冻结 PR 分块、三视角并行评审、盲点扫描、去重,到逐条验证裁决。你将看到一份可复现的漏斗数据与阶段耗时表,读懂 7 条候选发现的验证器裁决全过程(含 6 条 VALID、1 条 dismissed),并理解其中关于 fail-closed 安全校验、事务外发(outbox)可靠性、provenance 信任边界等工程结论。读完可直接用同目录下的 PLAN.md 与 FINAL_REPORT.md 复现整套评估方法。

1. 这份运行报告在实验中的位置

ReviewHog(products/review_hog)是 PostHog 开源的自动 PR 评审器:一条 Django 应用 + Temporal 工作流把 PR 拆成可独立评审的分块(chunk),为每个分块挑选需要的视角(perspective),在沙箱 Agent 中并行运行视角评审,再经过去重和验证(validation),最终把评审意见发布回 PR。完整流水线见 ARCHITECTURE.md 中的 ReviewPRWorkflow 图。

本轮 K-sol-validator-3-max 是 2026-08-validator-model-sol 实验(目录:products/review_hog/eval/experiments/2026-08-validator-model-sol)的第 3 轮运行。实验的核心问题是:gpt-5.6-sol(Codex 运行时)能否以更低成本、更快速度替代 Claude Opus 担任验证器,且不损失裁决质量? 运行报告记录了:

  • Dumped:2026-08-25T21:36:55+00:00
  • Report id:01a03aaa-bc4d-7c6d-ba33-20a87f55e8fc · 评审对象为 PR #75215
  • Head:a7fb363bef6947e4e7fc30a0fe8a0a4cc4deaa82 · run_count:1 · status:idle
  • Wall-clock:3095s(约 51.6 分钟)

为保证可比性,本轮复用与前两轮(K1、K2)相同的冻结实验条件:同一 PR 的同一 commit、pinned_chunks.json 固定的分块、零评论的"干净房间"(评审时 PR 上的既有评论被 mock 为空)。实验设计与运行日志见 PLAN.md。

2. 运行配置快照:验证器与分块门槛

报告开头的 Config snapshot 是判断本轮评估有效性的第一手依据:

runtime / model / effort: codex / gpt-5.6-sol / xhigh
single-chunk gate / chunk target / soft-max additions = 400 / 300 / 600
  • runtime / model / effort:验证器使用 Codex 适配器 + gpt-5.6-sol,意图以 xhigh(本轮名中的 "max" 表示希望以最高推理力度运行)。需要说明的是,实验日志与最终报告揭示了一个关键背景:由于 @posthog/agent 中 Codex 适配器未把 reasoning_effort 透传进 per-turn 的 collaborationMode,K1–K3 中所有 gpt-5.6-sol 调用实际都以 $ai_effort=low 运行(该 Bug 由 PR #88893 修复)。因此本轮数据描述的是 Sol 在低 effort 下的验证器行为,xhigh/max 是配置意图而非实际生效值——这正是该实验后续(2026-08-26)追加四轮"真 xhigh"运行的原因。
  • single-chunk gate / chunk target / soft-max = 400 / 300 / 600:对应 ReviewHog 的分块策略——新增行数 ≤400 时单块直出(不调用分块 LLM);chunk target 300 与 soft-max 600 是分块 LLM 的目标/软上限,指导模型把变更文件按内聚性分组。更完整的门槛体系(400 / 5000 / 沙箱分块)见 ARCHITECTURE.md 的 Preflight 章节。

3. 评审漏斗与成本

这是整轮运行最核心的量化结果:

chunks review units raw issues after dedup passed validator
4 13 10 7 6
  • review units 的定义:每一个 (perspective | blind-spot × chunk) 的沙箱评审即一个单元,是"模型持有量恒定"的成本代理——本轮 4 个分块 × 3 个视角 + 4 个盲点扫描,共 13 个单元。
  • 漏斗显示:13 个评审单元产出 10 条原始发现 → 去重后 7 条 → 验证器放行 6 条。验证器在入口处拦截了约 1/7 的候选(约 14%),是评审质量的第一道闸门。
  • cache-aware spend:报告注明窗口期内没有 $ai_generation 事件(事件可能发往了云项目、或尚未被摄入),因此本轮的成本表为空。配套的 K-sol-validator-3-max.usage.md(见 runs 目录)记录了基于 Agent 日志的 token 用量:validation 阶段 3 个会话、7 轮、fresh in 25,645 / cache read 344,639 / output 2,832。最终报告指出 Agent 日志法因只统计每轮最后一次 LLM 调用而低估 3–4 倍,网关口径下本轮验证成本为 $1.44(37 次调用)。

4. 各阶段耗时

stage duration
fetch + snapshot 0s
chunking 0s
perspective selection 15s
review wave (perspectives) 33m 29s
blind-spot sweep 2m 26s
dedup (incl. combine/clean) 1m 17s
validation 13m 50s
  • Review stage total(selection → 最后一个 finder 单元,wave + blind-spot):35m 55s——这是 reviewer 模型速度的横向比较数。
  • 两个 0s 阶段是有意为之:chunking 使用 pinned_chunks.json 固定分块,fetch + snapshot 因复用冻结 PR 而无需重新抓取。
  • 耗时异常点在于 review wave 长达 33m29s。实验日志(PLAN.md)还原了原因:4/9 个沙箱在同一 5 秒窗口内以 Codex stopReason=refusal 结束回合且无法上报完成(fetch failed),worker 等待完整 1800s 轮询超时后才重试,4 个重试均在约 3 分钟内完成。这属于沙箱/网关瞬时故障而非评审本身耗时,是"墙钟时长 ≠ 模型能力"的典型提醒。
  • 报告注明:各阶段时长来自 artefact 的 created_at(完成时持久化),仅对全新、非恢复运行的运行有意义。

5. 分块结果:按逻辑内聚性归组变更文件

本轮把 PR 的变更文件分成 4 个分块(每块按评审优先级排序):

  • chunk 1(8 文件):products/review_hog/backend/models.py、products/review_hog/backend/migrations/0019_reviewusersettings_stamphog_review_inbox_prs.py、products/review_hog/backend/api/settings.py、products/review_hog/backend/receivers.py、products/review_hog/frontend/CodeReviewScene.tsx、products/review_hog/frontend/generated/api.schemas.ts、products/review_hog/frontend/generated/api.zod.ts、services/mcp/src/api/generated.ts——即 ReviewHog 后端 + 前端 + 生成类型。
  • chunk 2(8 文件):products/stamphog/backend/facade/api.py、products/stamphog/backend/facade/inbox_hooks.py、products/stamphog/backend/tasks/tasks.py、products/stamphog/backend/temporal/activities.py、products/stamphog/backend/logic/reviewer.py、products/tasks/backend/facade/api.py、products/tasks/backend/facade/contracts.py、tach.toml——StampHog 与 Tasks 门面层。
  • chunk 3(4 文件):tools/pr-approval-agent/review_pr.py、review_local.py、reviewer.py、version.py——PR 审批 Agent 工具链。
  • chunk 4(2 文件):products/stamphog/AGENTS.md、README.md——文档类变更单独成块。

可以看到分块遵循"层边界 + 产品边界 + 文档隔离"的内聚原则,这正是 ReviewHog 分块提示词要求模型做的事(见 ARCHITECTURE.md Prompts 章节 chunking/prompt.jinja)。

6. 评审单元明细:视角矩阵

每个 (pass × chunk) 是一个沙箱评审单元。pass 1–3 对应三个视角(Contracts & Security、Logic & Correctness、Performance & Reliability),pass 1000 是盲点扫描(每块一次,被告知哪些透镜已运行):

pass chunk perspective raw issues
1 1 review-hog-perspective-contracts-security 2
1 2 review-hog-perspective-contracts-security 1
1 3 review-hog-perspective-contracts-security 1
2 1 review-hog-perspective-logic-correctness 1
2 2 review-hog-perspective-logic-correctness 2
2 3 ? 0
3 1 review-hog-perspective-performance-reliability 1
3 2 review-hog-perspective-performance-reliability 1
3 3 ? 0
1000 1 ? 0
1000 2 ? 0
1000 3 review-hog-blind-spots-general 1
1000 4 ? 0

要点:

  • 三个视角相互隔离、无跨视角上下文,重叠交给去重阶段处理(这是 ReviewHog 的既定设计,见 ARCHITECTURE.md 第 5 步)。
  • 部分单元视角标记为 ? 且产出 0——表示视角选择阶段未选中该组合(selection 是廉价的 one-shot,失败时 fail-open 到全量视角)。
  • 盲点扫描在 chunk 3 贡献了唯一一条 blind-spot 发现(即下文第 5 条"草稿声明"问题),说明它确实能补上视角评审的遗漏。

7. 发现与验证器裁决:7 条候选的完整审理

去重后共 7 条发现进入验证器。验证器(本例为 Sol)以"每个分块一个热会话、每轮一个裁决"的方式逐条审理(机制见 ARCHITECTURE.md 第 8 步 Validate:keep/drop 标准通过 MCP skill-get(review-hog-validation-criteria, version=N) 拉取团队拥有的验证标准技能,源码位于 products/review_hog/skills/review-hog-validation-criteria/SKILL.md)。下面逐条呈现裁决。

7.1 [❌ dismissed] must_fix · security —— 将门控标志校验为 JSON 布尔值

位置:tools/pr-approval-agent/review_local.py:321

  • 问题:bool() 转换会让任何 truthy 值都触发安全豁免。例如 JSON 字符串 "false" 即可绕过 bot 作者与草稿门控。该输入控制审批策略边界,畸形上下文必须 fail-closed。
  • 建议:要求精确的 JSON 布尔:self_driving=context.get("self_driving_review") is True,拒绝其他存在类型或视为 false,并为 "false"、1、非空对象补充测试。
  • 验证器审理:追溯了该标志从 products/stamphog/backend/temporal/activities.py:451(活动把持久化的 provenance 转成 bool 再构建上下文)→ products/stamphog/backend/logic/reviewer.py:101 与 :131 的完整链路;发现上下文文件由服务端创建,PR 内容无法直接设置 self_driving_review,因此报告中提到的字符串/数字/对象值无法通过生产调用路径到达 review_local.py:321。结论:精确类型校验只能防御一个"已损坏的可信调用方",不满足验证门槛 → dismissed。这是典型的"可读路径不等于可达路径"的反证推理。

7.2 [✅ VALID] must_fix · bug —— 无作用域的 task-run 查询在事后过滤时会掩盖正确运行

位置:products/tasks/backend/facade/api.py:507-513

  • 问题:find_task_run 先跨所有团队、所有任务类型查询,facade 之后才检查 team_id、signal_report_id、internal。PR URL 查询选择最新匹配运行,分支查询选择未排序的首行——另一团队或手动任务的运行可能胜出,facade 返回 None 而真实匹配的 signals 实现运行被跳过,StampHog 将错过该有效运行的后续评审。
  • 建议:把 team_id、task__signal_report_id__isnull=False、task__internal=False 下沉进查询,分支匹配增加确定性排序;专用 facade 查询比"先调通用 find_task_run 再过滤"更安全。
  • 验证器审理:find_signal_implementation_run → find_task_run 中,PR URL 查询仅在 products/tasks/backend/webhooks.py:41-56 按 URL 与仓库过滤;分支查询在 webhooks.py:68-75 用无排序的 .first();facade 在 api.py:504-509 于查询后才拒绝选中行且不再搜索其他有效运行。影响链:碰撞运行造成假阴性 → 调用方在 products/stamphog/backend/tasks/tasks.py:191-200 返回空豁免 → StampHog 跳过有效复审。

7.3 [✅ VALID] should_fix · bug —— Broker 故障会永久丢弃初次评审

位置:products/review_hog/backend/receivers.py:225-234

  • 问题:回调发布的是唯一的初次评审任务;它捕获最终 broker 错误后不保存任何重试状态,TaskRun 后续未必再次保存,评审可能永久丢失。
  • 建议:在同一数据库事务中创建持久化分发记录(durable dispatch record),由带重试的 worker 处理待处理记录并在成功发布后标记;为重试耗尽增加指标或告警。
  • 验证器审理:handle_task_run_saved 在 receivers.py:131 注册一次性回调,_start_stamphog_review 在 receivers.py:224-234 捕获发布错误;queue_inbox_pr_review 在 products/stamphog/backend/facade/api.py:149 调用 .delay(),而 products/stamphog/backend/tasks/tasks.py:1109 的重试只在 broker 接受任务后生效;代码在发布前不记录 pending dispatch,仅靠"之后的 TaskRun 输出保存"可能重试,但无人保证该保存发生。

7.4 [✅ VALID] should_fix · bug —— Broker 故障可永久丢失初次评审(门面侧)

位置:products/stamphog/backend/facade/api.py:151-157

  • 问题:该 broker 发布是初次评审的唯一交接点,调用方捕获发布失败仅记日志;数据库提交后的 broker 中断即可永久丢失评审,后续 TaskRun 保存未必重发。
  • 建议:在与 TaskRun 更新相同的事务里存储分发记录,由可重试 worker 发布并标记为已发送;若无 outbox,则为失败发布增加持久重试机制,而非依赖另一次模型保存。
  • 验证器审理:receiver 在 products/review_hog/backend/receivers.py:126-139 于数据库提交后调度一次发布;receivers.py:224-234 捕获一切发布错误仅写日志;products/stamphog/backend/tasks/tasks.py:1109-1112 的 Celery 重试无法挽回失败发布;receivers.py:72-89 中后续 TaskRun 输出保存虽可重复分发,但代码不保证再有保存。

7.3 与 7.4 本质是同一族问题(broker/重试加固)的两个实例——初次评审仅靠"事务提交后的 on_commit 回调 + .delay()"单点交接,缺一个事务性 outbox。这也正是最终报告中被判定"非真实"的家族之一(详见第 8 节)。

7.5 [✅ VALID] should_fix · bug —— 不要声称每个 self-driving PR 都是草稿

位置:tools/pr-approval-agent/reviewer.py:696-699

  • 问题:可信提示词固定声称"该 PR 是草稿";后续 synchronize 事件会在 PR 变为 ready 后再次评审同一 PR,模型于是收到错误的可信上下文。
  • 建议:把草稿指导改为条件于 pr.draft,或改为"self-driving 评审可运行在草稿上"而不断言当前 PR 是草稿。
  • 验证器审理:synchronize 事件在 PR ready 后仍可走 self-driving 豁免,_inbox_rereview_carve_out 在 products/stamphog/backend/tasks/tasks.py:147 不要求 pr["draft"];_format_self_driving 只接收分类结果,却在 tools/pr-approval-agent/reviewer.py:698 恒称当前 PR 为草稿(提示词构建在 reviewer.py:506)。影响:对 ready PR 的 push 会给模型注入假的可信状态,可能影响裁决与推理。

7.6 [✅ VALID] must_fix · security —— 初次评审任务信任过期且未经验证的 provenance

位置:products/stamphog/backend/tasks/tasks.py:1107-1178

  • 问题:worker 直接信任队列消息中的 team_id、acting_user_id、signal_report_id、task_run_id、pr_url,只检查仓库配置匹配与 PR 处于打开状态,不验证 task run 归属团队、不验证该 task run 产出此 PR、不验证 bot 作者/repo-native head/当前 reviewer toggle。任务输出可指向已配置仓库中的另一个 PR,从而以 self_driving_review 特权路径创建评审并发布审批;toggle 在 worker 启动前变更也仍会照跑。
  • 建议:在 worker 内通过 team-scoped tasks facade 重新解析 task_run_id,核对 signal report、repository、存储的 PR URL;GitHub 抓取后要求 bot 作者且 head.repo.full_name 匹配配置仓库;再次调用注册的 reviewer resolver 并使用其返回的用户 ID;任一检查失败即停止;Celery 消息尽量只传稳定标识符。
  • 验证器审理:output.pr_url 用户可写(文档化于 products/tasks/backend/temporal/code_workstreams/activities/load_pr_urls.py:23-31);worker 在 tasks.py:1130-1153 只解析 URL 仓库与团队仓库配置,从不加载 task_run_id 校验;tasks.py:1158-1174 只检查 PR 状态与 head SHA,不查作者与 head 仓库;tasks.py:1176-1181 把队列 provenance 原样拷入 inbox_review,该值在 products/stamphog/backend/temporal/activities.py:448-451 开启 self_driving_review;而 webhook 路径在 tasks.py:167-207 补齐了 bot、repo-native head、任务关联与当前 toggle 检查——初次评审路径与 webhook 路径的信任水位不一致,是真正的授权边界缺陷。

7.7 [✅ VALID] must_fix · bug —— StampHog 忽略次要评审者的已启用设置

位置:products/review_hog/backend/receivers.py:111-127,151-155

  • 问题:代码先选定唯一 acting reviewer,再检查其 StampHog 设置;若该用户关闭了 StampHog,即使其他被指派评审者已开启也会跳过评审,webhook resolver 重复同一行为,与"任一 opted-in 被指派评审者可启用评审"的需求冲突。
  • 建议:从所有被指派评审者中解析 StampHog reviewer:优先任务创建者(若其被指派且 opted-in),否则取第一个开启 stamphog_review_inbox_prs 的被指派者;初评与 webhook 复审使用同一选择逻辑。
  • 验证器审理:_resolve_assigned_reviewer 在 receivers.py:202-207 返回单一 canonical 用户,初评在 receivers.py:114-126 只查该用户设置;resolve_stamphog_acting_reviewer 在 receivers.py:151-155 同一用户 opted-out 时返回 None;DECISIONS.md 的 canonical-user 规则只定义 ReviewHog 选项归属,并未建立新的 StampHog toggle 的 any-reviewer 规则。

从源码结构看,products/review_hog/backend/receivers.py 中 _pick_stamphog_reviewer(第 170-183 行)确实已实现"任一被指派者 opted-in 即可"的挑选逻辑(opted_in = [user for user in resolved if settings_by_user[user.id].stamphog_review_inbox_prs]),说明该语义在部分调用点存在、但初评触发点仍先走单用户路径——与 7.7 的判断互相印证。

8. 从最终评分看验证器质量:本轮裁决的"后验真值"

运行报告是快照,实验的最终评分在 FINAL_REPORT.md 中给出。打分方法:把每条发现匹配到该 PR 的 76 个已知问题簇(known_clusters.json,源自 7 月裁判文件);一致簇沿用簇裁决,混合簇在冻结工作树上逐条"反证优先"人工复核(findings/verify/)。

K3 的 7 条发现全部命中已知簇(KC.match.json),其中 5 条与 K2 完全同文(KC2=KB1、KC3=KB3、KC4=KB4、KC5=KB2、KC6=KB6、KC7=KB8,KC1=KA3)。真值(findings/KC.truth.json)与得分(findings/KC.score.md):

指标 K3 结果
kept-real(保留中真实比例) 3/6(50%)
real-kept(真实发现召回) 3/3(100%)
not-real dropped(非真实拦截率) 1/4(25%)

要点:

  • 所有真实发现都被保留:receiver-leg provenance 漏洞(KC6,must_fix)、单 acting-reviewer toggle(KC7,should_fix)、过期"草稿"文案(KC5,consider)。
  • 保留的一半不真实,且与 K2 是同一个三族:无作用域 find_task_run 查询(KC2——最终报告指出查询实为仓库级作用域、跨团队返回 None 的契约已有测试,Sol 却两轮都标 must_fix);broker/重试加固诉求(KC3+KC4——复刻 webhook 路径的既有刻意设计,且由后续 re-fire 覆盖);以及(K2 独有的)队列时 toggle 信任问题。
  • 丢弃的那条是对的:KC1(JSON 布尔强制转换 nit)在 7 月已被反证 7 次,Sol 本轮正确 dismiss。
  • 对照实验:7 月同一 PR 上 Opus 4.8 看到 16 条非真实发现全部丢弃;而 Sol 在 K2/K3 各保留 3 条非真实。结论是 Sol(低 effort 下)作为验证器"几乎什么都保留"——最终报告据此建议维持 Opus 作为验证器,而把 Sol 的 xhigh 档位留给 reviewer 侧使用(3 倍真实发现/轮、发现 8 个此前 18 次评审都未上报的真实问题)。

9. 从本轮运行提炼的工程启示

  1. 安全边界必须 fail-closed,且"不可达"是有效的反证依据。7.1 的裁决展示了验证器正确的工作方式:找到 bool() 转换点后,继续追查该输入的完整生产路径,发现 PR 内容根本无法设置该字段,从而判定"防御一个已损坏的可信调用方"不满足门槛。评估验证器时,"可达性"比"字面缺陷"更重要。
  2. 单点交接是分布式系统最脆弱的承诺。7.3/7.4 两条都指向同一模式:数据库事务提交后才用 transaction.on_commit 回调 + Celery .delay() 发布唯一任务,broker 故障即静默丢失。工程上应引入事务性 outbox:同一事务写分发记录,重试 worker 发布成功后再标记。这也是当前 ARCHITECTURE.md 中公开承认的可靠性盲区。
  3. provenance 信任边界必须与调用路径对齐。7.6 指出初次评审任务信任队列里的全部标识符,而 webhook 路径补齐了 bot、repo-native head、任务关联与 toggle 检查——同一条业务的两条入口信任水位不一致,就构成授权绕过。凡涉及审批/豁免语义的字段,要么在 worker 内重解析(team-scoped、DB 校验),要么只传稳定标识符。
  4. 评估方法论本身可复用。冻结 PR + 固定分块 + 零评论干净房间 + 已知问题注册表 + "反证优先"人工复核,是衡量"验证器是否真的把好关"的可靠实验设计。任何想度量 LLM 代码评审质量的项目都可以复制这套框架(完整脚本与真值文件都在 products/review_hog/eval/experiments/2026-08-validator-model-sol/ 下,包括 scripts/ 与 findings/verify/)。
  5. 墙钟时长不等于模型能力。33 分钟的 review wave 是沙箱 stopReason=refusal + 1800s 轮询超时造成的,与模型本身无关;解读任何一轮运行耗时前,先核对 PLAN/运行日志中的基础设施事故。

10. 深入阅读

  • 实验设计与运行日志:PLAN.md(含 K1/K2/K3 逐轮记录、effort 修复验证、L/M/N/P 各臂后续运行)
  • 最终结论与推荐:FINAL_REPORT.md
  • 同目录其他运行对照:K-sol-validator-2.md、K-sol-validator-3-max.usage.md
  • 流水线架构与验证机制:ARCHITECTURE.md(Validate 阶段、沙箱执行层、数据模型)
  • 决策记录:DECISIONS.md
  • 团队可定制的验证标准技能:review-hog-validation-criteria/SKILL.md 与三个视角技能 products/review_hog/skills/review-hog-perspective-{logic-correctness,contracts-security,performance-reliability}/SKILL.md
  • 本轮发现的被审代码:products/stamphog/backend/tasks/tasks.py、products/review_hog/backend/receivers.py、products/stamphog/backend/facade/api.py、products/tasks/backend/facade/api.py、tools/pr-approval-agent/reviewer.py
登录后查看全文
posthog