PostHog ReviewHog 评审质量运行报告解读:读懂一次 LLM 代码评审实验的漏斗、缓存成本与 validator 判定
PostHog ReviewHog 评审质量运行报告解读:读懂一次 LLM 代码评审实验的漏斗、缓存成本与 validator 判定
本篇技术指南以 PostHog 开源仓库中 ReviewHog 的一次真实评审质量实验运行报告
A-sonnet5-xhigh-2(原始运行报告)为骨架,结合 ReviewHog 架构文档、实验计划、最终报告、报告生成脚本 与技能定义,完整解析这份报告的每一节含义:评审漏斗、缓存感知成本核算、阶段计时、分块结果,以及 24 条发现(findings)如何被 validator 以"精确率优先"的标准逐条裁决。读完本文,你将能够独立读懂 ReviewHog 任何一次评审实验的运行报告,并理解其成本模型与发现裁决机制。
一、报告从哪来:ReviewHog 的评审质量实验
ReviewHog(products/review_hog)是 PostHog 的自动化 GitHub PR 代码评审器:它抓取 PR、将改动逻辑拆分为 chunk、用便宜的 one-shot 调用做 perspective selection、在沙箱 Agent 中并行运行所选 perspective 评审(Logic & Correctness / Contracts & Security / Performance & Reliability 三个视角,每个视角是一个 DB 同步的 LLM 技能),随后合并 → 范围清洗 → 去重 → 验证发现,渲染 Markdown 报告并回帖到 PR。完整流水线见 架构文档 的 Pipeline 一节。
A-sonnet5-xhigh-2.md 属于 2026-07-reviewer-model-glm52 实验(实验目录),其研究问题是:GLM 5.2 是否比生产环境默认的 claude-sonnet-5 更擅长应用 ReviewHog 的评审视角。A 组(A1/A2)是基线组,使用生产配置 claude-sonnet-5 @ xhigh;B 组使用 GLM 5.2。其余条件全部钉死:validator 固定为 Opus 4.8 @ xhigh、one-shot 固定 Sonnet、分块固定(4 chunk)、评论置空(clean-room)、目标 PR 冻结在 commit 1341596e(PR #72680,一个给自驱动 inbox PR 评审加"carve-out"旁路机制的改动)。完整实验设计见 PLAN.md。
A-sonnet5-xhigh-2 是 A 组的第二份运行,参数速览:
| 参数 | 值 |
|---|---|
| Dumped | 2026-07-23T19:23:20+00:00 |
| Report id | 019f9020-8c8e-792b-ac33-32efdaac6176 · PR #72680 |
| Head | 1341596e721880256a1afb79bbc881364d00e302 · run_count 1 · status idle |
| Wall-clock | 5128s(85.5 分钟) |
| runtime / model / effort | claude / claude-sonnet-5 / xhigh |
| 单块门限 / 分块目标 / 软上限 | 400 / 300 / 600(reviewable additions) |
报告由 dump_result.py 生成:它读取 team 1 最近一次 ReviewReport 及其 artefacts(ReviewReportArtefact),输出配置快照、分块、逐视角分解、原始→去重→有效漏斗、评审单元数、墙钟计时、基于本地 ClickHouse $ai_generation 的缓存感知成本拆分,以及带 validator 判定的完整发现列表。脚本用法:
LABEL=A-sonnet5-xhigh-2 RUN_SECONDS=5128 RUN_START_EPOCH=<epoch> \
OUT_DIR=products/review_hog/eval/experiments/2026-07-reviewer-model-glm52/runs \
python manage.py shell -c "exec(open('products/review_hog/eval/scripts/dump_result.py').read())"
二、评审漏斗:从原始发现到有效发现
报告第二节给出一次评审的核心漏斗:
| chunks | review units | raw issues | after dedup | passed validator |
|---|---|---|---|---|
| 4 | 12 | 26 | 24 | 5 |
漏斗每一级对应流水线的一个阶段(与 架构文档 步骤 5–8 对应):
- review units(12):实际运行的沙箱评审单元数 =(perspective | blind-spot)× chunk。本运行 3 个视角 × 3 个 chunk(pass 1–3,chunk 1–3)+ 盲点扫描(pass 1000,chunk 2/3/4 命中,chunk 3 的盲点单元返回 0 条),共 12 个单元。报告明确:review units 是"模型保持恒定"的成本代理——模型对比实验中,单元数相同意味着两边承担的评审工作量相同。
- raw issues(26):所有视角单元产出的原始发现数。
- after dedup(24):去重(dedup,含 combine/clean)之后留下的发现数。去重阶段采用"确定性位置预筛 + 单次 LLM 去重调用"的组合:只有文件相同且行区间重叠的发现才可能重复,被预筛为 unique 的孤立发现不经过 LLM(见 架构文档 步骤 7),这保证了去重成本极低。
- passed validator(5):通过 validator 判定为
is_valid的发现数。这是评审质量实验的主要质量指标之一。
这条漏斗在 dump_result.py 中由 perspective_result、issue_finding、validation_verdict 三类 artefacts 聚合而来(raw_issues 统计 PerspectiveResultArtefact 中 issues 总数;dedup_count 是 issue_finding 行数;valid_count 是配到 is_valid=True 判定的 finding 数)。
值得注意的差异:本运行 24 条 post-dedup 发现中仅 5 条通过 validator,淘汰率约 79%——这与实验最终报告观察到的现象一致:finder 的宽口径与 validator 的严格把关是"先宽后严"的健康分工,但也在 架构文档 的 TODO 中被标记为待用数据裁决的问题(validator 75% 的击杀率是否意味着 finder 在浪费沙箱预算)。
三、缓存感知成本核算:true $ 与 gw $
成本是模型对比实验的核心指标之一。报告给出按 (model, stage) 拆分的缓存感知花费表(本地 $ai_generation,best-effort):
| model | stage | gens | fresh in | cache write | cache read | output | >200K gens | true $ | gw $ |
|---|---|---|---|---|---|---|---|---|---|
| claude-opus-4-8 | validation | 173 | 144,889 | 1,103,166 | 22,890,842 | 259,744 | 31 | $25.56 | $25.56 |
| claude-sonnet-5 | review | 230 | 246,792 | 2,417,675 | 31,329,071 | 391,347 | 37 | $16.72 | $16.72 |
| claude-sonnet-5 | blind-spot | 72 | 118,465 | 953,491 | 9,422,372 | 104,159 | 10 | $5.55 | $5.55 |
| claude-opus-4-8 | blind-spot | 33 | 1,264 | 372,306 | 3,354,637 | 50,027 | 0 | $5.26 | $5.26 |
| claude-opus-4-8 | review | 22 | 431 | 223,309 | 2,368,679 | 27,107 | 0 | $3.26 | $3.26 |
| claude-sonnet-5 | dedup | 1 | 19,698 | 0 | 0 | 5,232 | 0 | $0.09 | $0.09 |
| claude-sonnet-5 | other:perspective_selection | 1 | 9,029 | 0 | 0 | 1,676 | 0 | $0.03 | $0.03 |
| total | 532 | 540,568 | 5,069,947 | 69,365,601 | 839,292 | 78 | $56.47 | $56.47 |
这张表需要结合 dump_result.py 的成本模型来读:
3.1 true $ 的计价公式
true $ = 按列表价反算:fresh 1× + cache write 1.25× + cache read 0.1× + output。脚本中的 _LIST_PRICES 维护各模型每 token 单价(如 claude-sonnet-5: fresh $2/M、output $10/M、cache read $0.2/M、cache write $2.5/M;claude-opus-4-8: fresh $5/M、output $25/M、cache read $0.5/M、cache write $6.25/M),并将每次生成的输入拆分为 fresh = input − read − write 三个桶分别计价。gw $ 则是网关(LiteLLM)上报的 $ai_total_cost_usd。本运行两者完全一致(Δ +0.0%)。
3.2 naive 方法为什么不能用作门槛
报告明确警告:naive 方法(所有 prompt token 按输入价计)会高估 4.5 倍($254.78 vs 真实 ai_input_tokens 包含缓存读写——本次运行 69M 的 cache read 占了输入侧的绝大部分,而 cache read 只按 0.1× 计价。脚本注释(_spend_report`)同样指出"naive method ... overstates true cost ~5× on cache-heavy runs; never gate on it"——绝不能拿 naive 数字做任何成本门限决策。
3.3 gateway 分侧交叉校验
报告还给出网关按侧的交叉校验,验证 true $ 拆分与 LiteLLM 上报一致:
- 输入侧(fresh + cache write + cache read):$43.0236 / 532 gen
- 其中 cache read:$22.4574 / 503 gen
- 其中 cache write:$19.0453 / 529 gen
- 其中 fresh(推导值):$1.5209 / 532 gen
- output:$13.4461 / 532 gen
脚本实现上是 gw_sides 聚合 $ai_input_cost_usd / $ai_output_cost_usd / $ai_cache_read_cost_usd / $ai_cache_creation_cost_usd 四个字段并与 true 拆分比对(Δ 均 +0.0%),并会额外提示"write-side excess over the 1.25× back-calc = 1h-TTL cache writes (billed 2×)"。
3.4 长上下文:>200K 列
78 次生成使用了超过 20 万 token 的 prompt(_LONG_CTX_TOKENS = 200_000 作为诊断边界)。报告注明:网关的模型定价表对长上下文按平价计费,因此 >200K 列只是诊断计数,不参与计价——两列中均未包含长上下文溢价。
3.5 模型纯度与 Turn-1 缓存命中(跨沙箱共享的 tripwire)
报告另有一张"每沙箱单元 Turn-1 缓存读取"表(### Turn-1 cache reads per sandbox unit),列出每个 review/blind-spot/validation 单元的首次生成时间、turn-1 cache read / write 及使用模型。解读要点:
- units with turn-1 cache_read > 0: 2/20——报告特别强调"报告分布,不要报中位数"。
- 3 个单元中途切换了模型(
⚠️SWITCHED:…cbcdc354、…ca6992ab、…a95794f6):这些单元被 Claude SDK 的fallbackModel在过载时无声救回 Opus,对它们而言缓存共享与成本钉定均已失效。这也是 FINAL_REPORT.md 中"Opus 污染"caveat 的来源:Sonnet 臂约 20% 的 finder 生成被 Opus 部分接管,Sonnet 的数字严格说是"Sonnet + 生产环境的救援行为"。
脚本对模型切换的检测逻辑是:按 task_run_id 追踪每个单元会话接触过的模型集合,len(models) > 1 即标记 SWITCHED(见 dump_result.py 的 turn1 字典与 _spend_report)。模型纯度(model purity)是每次运行必查的完整性检查项——PLAN.md 要求每轮运行后核对 dump 的 spend 表里每个 issues-review-* / blind-spots-* 生成的 $ai_model 都是目标模型。
四、阶段计时:review-stage 是模型速度对比的锚点
| stage | duration |
|---|---|
| fetch + snapshot | 0s |
| chunking | 0s |
| perspective selection | 20s |
| review wave (perspectives) | 16m 42s |
| blind-spot sweep | 13m 28s |
| dedup (incl. combine/clean) | 3m 41s |
| validation | 50m 04s |
关键指标:Review stage total(selection → 最后一个 finder 单元,wave + blind-spot)= 30m 11s——这是评审模型速度对比的"头条数字"。在本实验的最终报告里,Sonnet 两轮该指标为 44m38s / 30m11s,GLM 两轮为 42m41s / 65m39s,Sonnet 更快且更稳。
计时来自 artefacts 的 created_at(各阶段/单元完成时落库),因此只对全新、未恢复(non-resumed)的运行有意义——head_sha 作用域内的 DB 恢复会复用旧 artefacts,使该表失真(dump_result.py 的 _stage_secs 注释与报告脚注均强调这一点)。本运行 fetch、chunking 均为 0s,是因为 chunk 被实验钉死(pinned)、快照与报告创建几乎同时。
五、分块结果:4 个 chunk 覆盖改动全貌
| chunk | 文件数 | 覆盖内容 |
|---|---|---|
| chunk 1 | 8 | products/review_hog/backend/models.py、migration 0019、api/settings.py、receivers.py、CodeReviewScene.tsx、生成的 api.schemas.ts / api.zod.ts、services/mcp/src/api/generated.ts |
| chunk 2 | 8 | products/stamphog/backend/facade/api.py、inbox_hooks.py、tasks/tasks.py、temporal/activities.py、logic/reviewer.py、products/tasks/backend/facade/api.py、contracts.py、tach.toml |
| chunk 3 | 4 | tools/pr-approval-agent/review_pr.py、review_local.py、reviewer.py、version.py |
| chunk 4 | 2 | products/stamphog/AGENTS.md、README.md |
分块由 split_pr_into_chunks 按逻辑内聚性分组。本实验分块被 A1 的自然切分钉死,保证 A/B 两臂评审完全相同的 chunk(见 PLAN.md 决策 6)。
六、逐评审单元分解:视角与盲点扫描的产出
| pass | chunk | perspective | raw issues |
|---|---|---|---|
| 1 | 1 | contracts-security | 1 |
| 1 | 2 | contracts-security | 4 |
| 1 | 3 | contracts-security | 3 |
| 2 | 1 | logic-correctness | 3 |
| 2 | 2 | logic-correctness | 2 |
| 2 | 3 | logic-correctness | 2 |
| 3 | 1 | performance-reliability | 2 |
| 3 | 2 | performance-reliability | 6 |
| 3 | 3 | performance-reliability | 1 |
| 1000 | 2 | blind-spots-general | 1 |
| 1000 | 3 | ? | 0 |
| 1000 | 4 | blind-spots-general | 1 |
pass 序号 = 视角在 PERSPECTIVES 注册表中的 1-based 位置;pass ≥ 1000 是盲点扫描(blind-spot sweep)的保留序号(dump_result.py 注释),每个 chunk 在视角波之后跑一次,被告知哪些视角已跑过,专门抓三个视角都没发现的问题。从 盲点技能定义 与 架构文档 步骤 5 可知:盲点单元是"便宜的第四种多样化抽取",实验中约贡献 40% 的有效输出。注意 blind-spot 只对 chunk 2/3/4 命中(chunk 3 返回 0 条、chunk 1 未产生有效行),这类单元级差异正是实验报告里"单次运行携带未测量方差"的体现。
七、24 条发现与 validator 裁决:一次完整的"精确率优先"审判
报告的主体是 24 条 post-dedup 发现,每条都带 Problem / Suggestion / Validator(对抗性验证) 三段,最终 5 条 VALID、19 条 dismissed。validator 的裁决逻辑并非简单放行或驳回,而是逐条复核问题前提、追溯调用链、评估可触达性与影响,并经常把 must_fix 降为 should_fix、把 should_fix 降为 consider。
7.1 VALID 的五条(按原文顺序)
① should_fix (validator→consider) · performance — tasks/tasks.py:179-186:Inbox carve-out 每个事件对 writer DB 重复解析两次 StamphogRepoConfig
- 问题:
_inbox_rereview_carve_out调用_resolve_repo_config(installation_id, repo)(docstring 声明 writer-pinned)验证 repo 配置,而调用方process_pull_request_event在inbox_review非空后几行又无条件重跑了一次完全相同的调用。自驱动 PR 每个 synchronize/reopened/base-retarget webhook 投递都做两次相同的 writer-pinned Postgres 读。 - 建议:让
_InboxCarveOut携带已解析的StamphogRepoConfig(或随 provenance 一并返回),调用方复用,避免同一路径二次解析。 - Validator 结论:冗余属实。自驱动 PR 按构造必是 bot 起草的 draft,
skip_reason恒有值 → 走 carve-out → 解析;主路径再解析一次;base-retarget 投递还会第三次。但_resolve_repo_config是单条索引点查(filter(...).order_by(...).first()),表极小、路径冷(只有自驱动 inbox PR 的同步/重开/重定向投递),不构成"在真实规模下咬人"的性能问题;且各分支本就各自独立重解析并带独立重试,合并反而耦合。降级为consider:真实冗余但影响可忽略。
② must_fix (validator→should_fix) · performance — tasks/tasks.py:941-944,967-969,1059-1067:carve-out 的 inbox 重评审落入 webhook 腿无条件的 supersede+create 路径,缺少基于 head 的去重——常规自驱动 PR push 被双重评审
- 问题:carve-out 识别为自驱动重评审后,
inbox_review绕过_review_mode_skip_reason与_author_lacks_write_permission,落入既有的_supersede_prior_runs(pr_obj)+ReviewRun.objects.create(...)块。该块是"只有 webhook 一个创建入口"时代的代码,无 head_sha 感知去重:无条件把该 PR 所有非终态 run 标记 SUPERSEDED 再新建。而本 PR 新增了第二入口process_inbox_pr_review(review_hog 的 TaskRun output-save receiver 触发,进程内近即时),它自带 head_sha 去重;webhook 腿(网络延迟)晚到后会把腿 1 已建的同 head run 标记 SUPERSEDED 并再建一个,浪费一整轮沙箱+LLM 评审。这不是窄竞态:自驱动实现任务迭代式 push + 保存 output,两条触发路径对多数 head 都会先后触发。 - 建议:在 carve-out 分支的
_supersede_prior_runs+ create 之前,加入与process_inbox_pr_review相同的 head 存在性检查:若该pr_obj在该 head 已存在非 SUPERSEDED/FAILED 的 run(另一腿创建),跳过重复创建,至多重启仍 QUEUED 的 workflow。 - Validator 结论:不对称属实——腿 1 有 head 去重(pr_tasks.py:1202-1210,选择该 head 所有非 SUPERSEDED/FAILED run 并 no-op 或重启 QUEUED),腿 2 的 carve-out 分支无条件 supersede 全部。影响确认:腿 1 赢竞态时,随后的 synchronize webhook 驱动腿 2 supersede R1 并为相同 head 创建 R2;R1 的沙箱+LLM 评审跑完后在
post_verdict因 SUPERSEDED 被废弃——纯资源/成本浪费(无双重审批,superseded guard 成立)。must_fix → should_fix:影响有界、受竞态门控、限于 opt-in 功能;"routine"的说法未被证实(receiver 的 output-save 通常在回合末,常在 webhook 之后,腿 2 常赢而腿 1 正确 no-op)。值得修复(镜像腿 1 的既有去重),但不阻塞合并。
③ must_fix · bug — tasks/backend/facade/api.py:484-516,507-509:find_signal_implementation_run 排除 internal=True 任务,但所有真实自驱动实现任务都以 internal=True 创建——carve-out 永远无法正向识别自驱动 PR
- 问题:
find_signal_implementation_run在if task.signal_report_id is None or task.internal: return None处把internal=True任务挡掉(意在隔离 signals 管线的内部管线任务),但每个生产调用点都以internal=True创建 signal-report 实现任务:signals/backend/auto_start.py::_create_implementation_task_if_absent(line 261,agentic 管线与 custom-agent 流唯一入口)、research.py:715、custom_agent/base.py:683。全库没有任何调用点创建internal=False的 SIGNAL_REPORT 来源任务。因此真实自驱动 inbox PR 的 run 永远internal=True→find_signal_implementation_run恒返回 None →_inbox_rereview_carve_out在调用 toggle resolver 之前就返回空_InboxCarveOut()→ webhook 腿(设计中的腿 2)永久不可达:后续 push 永不被重评审,opted_out分支成死代码。 - 建议:对照真实任务创建调用点重新核定
Task.internal语义——若实现任务确实恒为internal=True,检查应改为要求internal为真(或干脆去掉该检查,因为find_task_run的output.pr_url匹配已把范围收窄到真正开这个 PR 的任务)。并补充一个用真实形态(origin_product=SIGNAL_REPORT、internal=True、带output.pr_url)构造的测试。 - Validator 结论:确认属实。自驱动 PR 由 auto-start 实现任务开出(
internal=True+interaction_origin="signal_report"),commit0da0b8dc(#68752)故意这么做并加了assert call_kwargs["internal"] is True。find_task_run按output__pr_url匹配到该 internal run,随后被 api.py:508 的 internal 门挡下。测试夹具_task默认internal=False(test_inbox_trigger.py:66),唯一的internal=True用例反而断言"评审被跳过"——绿灯测试、错误假设。这是静默废掉 PR 核心交付物的正确性 bug;同一 internal 门也挡在 receiver 腿上(if task.internal: return),缺陷范围比所指更广。must_fix成立——头号特性对真实输入完全失效,且现有测试不覆盖真实形态。
④ should_fix (validator→consider) · performance — tasks/tasks.py:1202-1219:process_inbox_pr_review 的同 head 去重排除 FAILED run,持续失败的评审会在每次 TaskRun output-save 重触发时无冷却重试
- 问题:去重查询只排除
SUPERSEDED和FAILED。排除FAILED意味着该 head 曾失败的 run 不算"已处理",下一次 receiver 重触发就新建ReviewRun并重启沙箱+LLM 评审。receiver "每次 TaskRun output save 都触发",其 docstring 把同 head 重触发的预期成本定为"一次 fetch(早退)";而对确定性失败的评审(持续 GitHub 错误、坏 context payload 等),每次重触发都会跑完整管线,且没有类似STAMPHOG_LABEL_REREVIEW_COOLDOWN_SECONDS的冷却。 - 建议:对最近 FAILED 的 run 保留冷却窗口(镜像 LABEL 模式冷却),或按 (pull_request, head_sha) 显式限流/退避。
- Validator 结论:事实准确——去重排除
(SUPERSEDED, FAILED),FAILED run 不视为已处理。但被忽略的缓解:补集(QUEUED/GATED/REVIEWING/COMPLETED)都早退,所以评审进行中的重触发 no-op;新 run 只在先前 run 经mark_review_failed(其自身重试耗分钟级)到达 FAILED 后才创建,节奏天然被限制为"约每个评审周期一次",总花费受自驱动任务有限生命周期约束。排除 FAILED 是有意的恢复机制(多数失败是瞬时的,重触发意在最终落出裁决)。should_fix → consider:真实但自限的资源浪费,合法加固点(per-head 冷却),并非无界的逐触发花费。
⑤ should_fix (validator→consider) · performance — tasks/tasks.py:1155-1165:process_inbox_pr_review 每次 TaskRun-output 重触发都从 GitHub 拉取 PR,网络调用前无短路
- 问题:docstring 承认 receiver "每次携带 PR URL 的 TaskRun output save 都重触发",而本任务在任何去重检查前无条件发起
client.get_pr(...)(注释解释了原因:去重需要当前 head,只有 GitHub 知道)。get_pr无缓存层(logic/github_client.py只缓存 installation token,L359-403),每次调用都消耗该安装共享的 GitHub App 限流预算。 - 建议:加短 TTL 缓存(按
pr_url键,秒级到分钟级)短路近期的检查;或让 receiver 把已知 head/分支传进来。保留周期性 fetch 的恢复行为。 - Validator 结论:事实核对无误——
get_pr在任何去重之前运行(pr_tasks.py:1158-1159);github_client.py只缓存安装 token,不缓存get_pr;queue_inbox_pr_review只带pr_url不带 head SHA,而去重按head_sha键——fetch 确实必需。"让 receiver 传 head"不可行(receiver 只知道分支名,不知道当前 head SHA)。但这是有意的、文档化的成本:昂贵的管线阶段(沙箱+LLM)都在去重之后,未变 head 的重触发恰是一次廉价 REST 读。限流耗尽对 opt-in、默认关、低并发的功能是推测性的。should_fix → consider:合法的小效率笔记,非 should_fix。
7.2 dismissed 的十九条:为什么它们没过"精确率优先"的关
被驳回的 19 条发现几乎全部落在 validation-criteria 技能 定义的 DROP 分类里。按驳回理由归类:
A. 前提错误 / 不可复现(wrong / unreproducible)
_parse_pr_url无锚定正则(tasks.py:113-121,consider · security):_PR_URL_RE用.search()而非全串校验。Validator 追踪后证实:唯一调用方process_inbox_pr_review的pr_url来自 Celery 参数,源头是TaskRun.output["pr_url"](receivers.py:93)——没有 HTTP/webhook 输入路径;解析出的repository只用作 team-scoped 过滤项(无匹配则静默 no-op),后续 GitHub 抓取用的是配置自身的 slug 而非解析串。结论:无 SSRF、无鉴权绕过,属"未来可复用"的推测性加固。- carve-out 绕过枚举遗漏 association 门(AGENTS.md:110-112,should_fix · documentation):Validator 发现
_review_skip_reason按draft → bot_author → untrusted_author_association顺序短路,而 carve-out 处理的 PR 按构造必为 bot 起草——association 分支对它们不可达;webhook 腿是整块跳过_review_skip_reason(if skip_reason is not None and inbox_review is None:),不存在"逐门绕过遗漏"。且测试test_inbox_carve_out_rereviews_a_selfdriving_pr_past_every_gate用author_association: "NONE"断言 run 被排队,误加重 association 门会直接挂 CI。 - receiver 腿无 PR↔run 正向验证(tasks.py:1107-1245,must_fix · security):Validator 证实 facade 文档写明"review_hog inbox 触发的程序化入口"且唯一调用方是进程内 receiver;receiver 从触发它的真实 TaskRun 上派生所有参数(
pr_url = instance.output.get('pr_url')等),并在断言task.signal_report_id is not None且not task.internal之后才动作——验证在触发端(review_hog)已完成;且目标被for_team(team_id)+ enabled + connected 限制在团队自己的 repo,无跨租户可达。所有触发场景("未来调用者")都是不存在的假设。 chunk 描述的 diff 不在检出树中(review_pr.py:195-225 等,must_fix):这是最特殊的一条——发现声称工作树里没有self_driving改动、上下文不可信。Validator 用gh api抓取 PR head1341596e证实改动真实存在,只是 harness 检出了 base 分支、把 PR diff 单独提供(报告@file#L块携带 PR-head 内容)。结论:环境误诊而非 PR 缺陷,is_directly_related_to_changes: False,作者无可改之处。
B. 防御性偏执 / 已被调用方处理(defensive-coding paranoia / already handled)
bool()强制转换解析self_driving_review(review_local.py:316-321,should_fix · security):Validator 走完 producer→transport→consumer 全链:build_reviewer_invocation(self_driving_review: bool = False)写入真实 Pythonbool→json.dumps往返true/false→ 集成测试还断言解码后is True。读端值只可能是True/False/None,bool()与is True行为等价。触发前提"服务端上下文组装将来出 bug"不存在;context JSON 是服务端可信输入,能伪造该文件的人直接写true即可——严格is True防不住任何可达攻击。- draft 语句硬编码"故意 draft"(reviewer.py:694-702,should_fix · code_quality):前提机械上可达(
ready_for_review被排除重评审,后续synchronize重评审时pr.draft可为 False),但影响仅限 prompt 里一句过时的松弛性措辞,不改变任何裁决、无安全/数据影响——"prompt 措辞卫生",纯风格。 - 引擎未强制 familiarity-absence(reviewer.py:505-506,consider · code_quality):矛盾场景要求自驱动 run 携带非空
author_pr_numbers,但服务端从同一inbox_review标志派生两个信号:is_inbox_review恰好对self_driving_review=True的 run 强制author_pr_numbers = [],空列表使_attach_familiarity早退。触发条件在当前调用方下不可能共现。 self_driving未在共享 Pipeline 内门控 familiarity 抓取(review_pr.py:202-209,222-228,should_fix · security):live fetch 只经Pipeline.run()可达,其唯一调用方review_pr.py::main()不传self_driving、也无--self-drivingCLI 参数——Pipeline(self_driving=True).run()没有任何调用点。自驱动评审全走review_local.py::run(context)(离线 familiarity,无网络)。前提"ever exercised"不可能发生。- draft 门旁路未限定 bot(review_pr.py:587-590,should_fix · security):结构上两个门的条件各引用各自主语,
self_driving同时松弛两者;没有调用点对非 bot PR 设置self_driving=True(网络运行时永不传 flag,唯一 producer 只给正向链接的信号实现 run 打标)。触发依赖"不存在的调用方 bug"。 - receiver 腿无成员关系复检(A1 报告;本运行中的类比项):provenance 只写不读,沙箱凭证按
connected_by_user_id铸造,审批由 App 机器用户门控——acting_user_id不授权任何操作。 resolve_stamphog_acting_reviewer无异常保护(receivers.py:144-156,should_fix · best_practice):唯一生产调用点_inbox_rereview_carve_out已被try/except ... retry包裹("瞬时 DB 抖动不得静默丢弃合法重评审");而且建议的修复反而会回归——吞错返回 None 会让acting_user_id is None走opted_out分支、在瞬时抖动时撤销既有审批。传播到调用方才是可靠性正确的设计。- webhook 腿每次 push 重复全量 reviewer 解析链(receivers.py:144-160,should_fix · performance):解析是固定基数查询集(Team 查找 + 三个候选 id 子查询 + 一次 prefetch User 查询,约 7–9 次查询),有
MAX_SUGGESTED_REVIEWERS=3上限,非 N+1;跑在后台 Celery webhook 任务而非用户路径,且每次自驱动 push 是一整轮分钟级 LLM 迭代。缓存还有正确性风险:_resolve_assigned_reviewer刻意每次读报告最新suggested_reviewersartefact。 - facade 读未 writer-pinned(facade/api.py:504-506,consider · best_practice):未 pin 属实,但那是 tasks 产品既有惯例(webhook 主调用方同样未 pin);stamphog CLAUDE.md 的 reader-lag 不变量只辖 stamphog 产品 DB(stamphog 侧读取已 pin);触发场景与腿 2 实际触发时机(later pushes)不符,且 fail-closed + 下个 push 自愈。
C. 过度工程 / 推测性未来(overengineering / speculative what-if)
inbox_reviewprovenance 无类型 dict(tasks.py:130-143,consider · code_quality):Validator 全库 grep 证实三个消费点都只判 dict 的存在性(bool(output.get("inbox_review"))、if (run.output or {}).get("inbox_review")),从不读内层 key——内层 key 是"只写"的溯源记录。改名不会改变任何行为,剩余诉求是给两个 4-key 字面量加 TypedDict 以防"假设的重命名"——教科书式过度工程。stamphog_connected跨库读在每次 settings 写入时触发(settings.py:71-82,consider · performance):前提属实(PATCH 后Response(serializer.data)会重渲染 SerializerMethodField),但成本是一次索引化.exists()查询 + fail-soft try/except,PATCH 是人工低频路径(拨开关),GET(场景加载)本就要做同样的读。缓存方案引入失效顾虑;从 PATCH 响应删字段制造 GET/PATCH schema 不对称。微优化。repository__iexact无法用索引(tasks.py:1140-1147,consider · performance):事实成立(无upper()函数索引),但for_team(team_id)先经(team_id, repository)索引做范围扫描,iexact 谓词只作用于一个团队的几十行内——不是全表扫描。"随 repo 数增长"是推测性未来。stamphog_inbox_pr_create_run_failed日志缺error=str(e)(tasks.py:1235-1237,consider · code_quality):三个 handler 都用了logger.exception(...),异常详情经exc_info完整记录,缺的只是可过滤的结构化字段;handler 同样.retry(exc=e)。纯日志一致性洁癖,无信息丢失。find_signal_implementation_run事后跨租户过滤(facade/api.py:484-518,consider · best_practice):未 team-scoped 查询是既有设计(GitHub webhook 本身也"无 scope 查找 → 事后定 team",_resolve_external_team),新包装器在返回值上 fail-closed(run.team_id != team_id: return None),跨租户数据无法经返回值泄露。唯一命中外国 run 的边界情况得到安全假阴性。所谓危害是"未来某次编辑删掉复检"——推测性。- carve-out 在取消/删除任务后仍授权(A1 报告 VALID,本运行未重复出现)——注意这是 A1 中一条 VALID(
must_fix → should_fix),本运行(A2)未重现,体现运行间差异。 stamphog_pr_url冗余别名(receivers.py:130-130,consider · code_quality):事实正确(无循环、无晚绑定风险、姊妹 lambda 直接闭包pr_url),但纯风格/可读性洁癖,零行为差异。find_signal_implementation_run依赖弃用字段signal_report(A1 报告)——A2 未重现。
7.3 validator 的裁决标准:源码依据
裁决依据即 review-hog-validation-criteria/SKILL.md:指导原则是 precision over recall(精确率优先)——"不确定就 drop;一小撮真实、可操作的发现远胜一长串 maybe"。KEEP 条件是能同时点名具体触发与具体后果("if items is empty this raises IndexError"、"this query runs once per row → N+1 on the dashboard"),且属正确性 / 安全 / 数据丢失 / 契约破坏 / 真实规模性能 / 资源可靠性之一。DROP 分类包括:过度工程、推测性 what-if、防御性偏执、不可能发生的边界、纯风格、已被处理、前提错误。本运行 19/24 被驳回,其中绝大多数命中 DROP 分类且 validator 的论证都附有具体文件与行号证据(例如验证 _is_bot_authored 在 tasks.py:124 的短路语义、_BOT_MACHINE_USERS 与引擎 is_bot_author 的超集关系)。
八、这份报告在实验中的位置:它说明了什么
在 FINAL_REPORT.md 的四臂对比中,A2 的数字(26→24→5、review stage 30m11s、总成本 $56.47、约 80% 模型纯度)是 Sonnet 臂的关键样本。汇总四轮八次的横向数据:
| 模型 | 已验证真实发现 | 精确率 | must_fix/should_fix/consider | review stage | 每次运行成本 |
|---|---|---|---|---|---|
| Sonnet 5 | 14/44 | 31.8% | 1/5/8 | 30–45m | ~$29–31 |
| GLM 5.2 | 7/36 | 19.4% | 3/1/3 | 43–66m | ~$42–50 |
| gpt-5.5 | 3/17 | 17.6% | 2/0/1 | n/a | ~$13–24 |
| Opus 4.8 | 5/30 | 16.7% | 0/2/2 | 24–26m | ~$40–44 |
结论:Sonnet 5 @ xhigh 继续担任默认评审模型——广度(召回)与精确率的组合最好、运行稳定且更便宜;GLM 的长处是"重复性地抓到最深的坑"(三视角盲审均给 GLM 更高分),但被 80% 噪音率和 40–100% 的 finder 成本差抵消。此外,本实验还产出了与裁决无关的真实产品 bug(必须修复,不因实验而存废):
- must_fix:
task.internal门杀死 webhook 重评审腿(本运行第 ③ 条,Y5/Q5/P12 聚类); - must_fix:receiver 腿以无正向 PR↔run 链接的方式打
inbox_review戳(Q18/X20/P10 聚类); - should_fix:X7/X9/P8 等若干条(证据见 judge-round1.json / judge-setP.json)。
九、从一份运行报告可以带走的方法论
- 成本必须缓存感知:LLM 评审成本里 prompt 缓存读写占输入侧九成,按
fresh 1× + cache write 1.25× + cache read 0.1× + output拆分计价(dump_result.py 的_LIST_PRICES与true $公式),naive 全量输入计价会高估 4.5×,不可用于门槛。 - 模型纯度是完整性前提:每轮运行必须核对
$ai_model——SDK 的fallbackModel会静默把失败的模型调用救回默认模型,污染对比结论(本运行 3 个单元 SWITCHED)。 - 对抗性验证而非自证:validator 对每条发现做 refutation-first 的独立核查——追调用链、查可达性、评估真实影响,而不是听凭 finder 的自我评估;19/24 的驳回率说明"宽捕获、严裁决"是这套系统的预期行为。
- 实验基础设施本身会产出产品 bug:本次实验附带修复了 tasks runner 的"空评审假成功"、
poll_for_turn的 refusal 30 分钟挂起、gateway allowlist 漂移等生产缺陷,并留下review_hog网关产品白名单、resolveGatewayProduct路由等持久改动(FINAL_REPORT.md "Durable changes")。
如果你希望复现类似实验,PLAN.md 的 per-run loop 给出了完整流程:设常量 → run_review --pr-url ... --team-id 1 --user-id 1 → 用 dump_result.py 导出报告 → 核对模型纯度 → reset_review_hog --yes 清库 → 下一轮;务必保持 PR 冻结、分块钉死、评论置空,并确保本地 $ai_generation 遥测可用(设置 LLM_GATEWAY_POSTHOG_AI_LANE_CAPTURE=false 并重启本地网关),否则所有成本数字都不可恢复。