PostHog ReviewHog 评审质量实验复盘:读懂 tainted run 报告与多模型评审漏斗
PostHog ReviewHog 评审质量实验复盘:读懂 tainted run 报告与多模型评审漏斗
导读
ReviewHog(PostHog 的开源 AI 代码评审产品)通过将 PR 拆分为 chunk、以多视角沙箱 Agent 并行评审、再由验证器把关,形成一套"宽进严出"的评审漏斗。在 ReviewHog 的模型选型实验中,一份被标记为 A-sonnet5-xhigh-1-tainted 的运行记录,恰好是理解这套评估体系如何度量"评审质量"与"评审成本"的最佳样本——它展示了一次被污染(tainted)的运行为何依然"可用"、哪些指标因此"不可比",以及干净重跑如何成为对照。本文以该运行记录为骨架,结合 PLAN.md、FINAL_REPORT.md 与源码,完整拆解漏斗指标、缓存感知成本、逐阶段计时、chunk 划分与逐 finding 验证裁决,让你读完后能独立读懂任何一份 ReviewHog 实验运行报告,并掌握其评估方法论。
1. 实验背景:为什么会有这份 tainted 报告
这份运行记录属于 products/review_hog/eval/experiments/2026-07-reviewer-model-glm52/ 实验——GLM 5.2 vs Sonnet 5 作为视角评审(perspective review)模型的对比实验。实验的目标是回答一个具体问题:
@cf/zai-org/glm-5.2是否比claude-sonnet-5更擅长应用 ReviewHog 的评审视角?除此之外,流水线的所有环节都保持不变。
实验设计采用自适应配对(adaptive pairs):先跑 A1(Sonnet)→ B1(GLM),逐对评判;只有结论不清晰时才追加 A2/B2。对照组与实验组共享完全相同的条件:验证器固定为 Opus 4.8 @ xhigh、单次调用固定为 Sonnet 5、4 个 chunk 的划分被固定(pin)、评论被 mock 为空(零评论净室)、目标 PR #72680 冻结在 head 1341596e。
A-sonnet5-xhigh-1 就是 A1 的第一次运行——但它"跑坏了":
⚠️ TAINTED RUN — temporal worker 在运行中途重启了两次(nodemon 触发的,其中一次是运行期间对 eval 脚本的编辑导致)。每一个 wave 单元都双执行(16 个 task-run / 8 个结果,产生僵尸沙箱),2 个单元中途回退到 Opus,validation-c2 重跑。findings 可用;成本(wave 阶段约 2×)和阶段计时不可比。由一次干净重跑取代。
这恰好把 ReviewHog 评估体系的两个核心信条具象化了:
- findings(评审结论)与成本/速度指标是可分离的——即使运行被污染,只要每个 finding 都经过独立验证,结论仍然可信;
- 成本与阶段计时是"状态敏感"的——一旦出现双执行、僵尸沙箱、模型回退,这些指标就失去跨运行比较的意义,必须重跑。
而这份 tainted 报告本身仍是"带病可用"的数据点:8 个 review units 的结果(经 dedup 后 25 个 findings)全部保留,并且被用于后续的 adversarial 验证。也就是说,这份文档实际上是整个实验的质量度量方法论的完整载体。
2. 运行快照:从 dump 中能读到什么
报告的头部字段全部由 dump_result.py 从 Postgres 中读取最新一条 team 1 的 ReviewReport 及其 artefacts 后生成:
| 字段 | 值 | 含义 |
|---|---|---|
| Dumped | 2026-07-23T15:05:10+00:00 |
dump 脚本运行时刻 |
| Report id | 019f8f24-984c-7c8a-ac44-51f5c95bedb0 |
本次运行的 ReviewReport 主键,对应 PR #72680 |
| Head | 1341596e721880256a1afb79bbc881364d00e302 |
被评审的 PR head SHA(冻结的评审目标) |
| run_count | 1 | 该 report 已完成的轮次(finalize 次数) |
| status | idle | 报告处于静止状态(非 active/closed) |
| Wall-clock | 6152s(102.5 min) | 整次运行的墙上时钟 |
2.1 Config snapshot:评审配置快照
- runtime / model / effort: `claude` / `claude-sonnet-5` / `xhigh`
- single-chunk gate / chunk target / soft-max additions = 400 / 300 / 600
这一行直接映射到源码中的评审臂配置。在当时的代码版本(对应 constants.py 的历史形态)中,评审模型是 claude-sonnet-5、推理努力度 xhigh、适配器 claude。值得注意的是,当前 master 的默认评审臂已经演进为:
REVIEW_RUNTIME_ADAPTER = RuntimeAdapter.CODEX
REVIEW_MODEL = "gpt-5.6-sol"
REVIEW_REASONING_EFFORT = ReasoningEffort.XHIGH
REVIEW_INITIAL_PERMISSION_MODE = "full-access"
也就是说,这轮实验的"基线"(Sonnet 5)后来被实验自身的结论所推翻——最终默认评审器换成了 gpt-5.6-sol(详见第 8 节)。这正是这套评估体系的价值:默认配置不是拍脑袋定的,而是用同一套漏斗指标一轮轮比出来的。
chunk 参数的含义(三者均为可调常量):
- single-chunk gate(400):可评审新增行数 ≤400 时走"单 chunk"路径,不做 LLM 分块;
- chunk target(300):每个 chunk 的目标规模(行数);
- soft-max additions(600):chunk 的软上限(超过后更倾向拆出更多 chunk)。
2.2 报告头部为什么"带病标注"
报告顶部的大段 ⚠️ 警告是手动附加的(dump 脚本本身不产生这段文字),但它精确描述了 tainted 运行的特征,这些特征在正文的表格里全部可验证:
- wave 单元双执行(16 task-runs / 8 results):wave 是 3 个视角 × chunk 的并行评审,正常应有 8 个 review units(见第 5 节),但 nodemon 重启导致每个单元被重跑一次;
- 僵尸沙箱:被中断的沙箱 Agent 仍在计费运行;
- 2 个单元中途回退到 Opus:表中
⚠️SWITCHED标记的单元; - validation-c2 重跑:验证阶段 chunk 2 被重复执行。
3. Funnel 指标:raw → dedup → valid 的漏斗
ReviewHog 的质量度量围绕一个明确的漏斗展开:
| chunks | review units | raw issues | after dedup | passed validator |
|---|---|---|---|---|
| 4 | 12 | 29 | 25 | 1 |
对应源码流水线(见 ARCHITECTURE.md 的 Pipeline 一节):fetch → chunking → perspective selection → 视角 wave → blind-spot sweep → combine + scope-clean → dedup → validation → build + publish。
- review units(12):报告中特别注明 = 每个
(perspective|blind-spot) × chunk的沙箱评审 = "模型恒定成本代理"(model-held-constant cost proxy)。在 4 chunk 的配置下,理论上是 3 视角 × 4 chunk + 4 个 blind-spot = 12+(tainted 报告实际 12 个 unit,但每个都被双执行了一次,这正是成本翻倍的来源)。 - raw issues(29):所有视角单元产出的原始 findings 总数。
- after dedup(25):经过 issue_deduplicator 之后保留下来的 canonical issues(去重会丢弃同一文件、行重叠、根因相似的重复项)。
- passed validator(1):通过验证器
is_valid=True的 findings 数。这份 tainted 报告里 25 个 findings 只有 1 个通过验证器,这与第 7 节"1 个 VALID、22 个 dismissed"的逐条裁决表完全对应。
为什么漏斗数字对评估如此重要:
raw反映视角的产出意愿(recall 倾向),dedup反映噪音的重复程度,valid反映"值得发给作者"的最终质量。实验的结论——Sonnet 以 31.8% 的 verified-real 精度、GLM 以 19.4%——正是基于这条漏斗的上游(raw/dedup)加独立验证(第 7 节)共同得出的。
4. 成本分析:缓存感知的真实花费(cache-aware spend)
这是 dump 报告中最有方法论价值的部分。ReviewHog 的成本度量刻意区分三种输入计费:fresh(1× 输入价)、cache write(1.25×,即写入提示缓存的 token)、cache read(0.1×)。这份 tainted 报告的总账如下:
| model | stage | gens | fresh in | cache write | cache read | output | >200K gens | true $ | gw $ |
|---|---|---|---|---|---|---|---|---|---|
| claude-opus-4-8 | validation | 187 | 129,271 | 1,001,312 | 21,820,014 | 219,816 | 6 | $23.31 | $23.31 |
| claude-sonnet-5 | review | 263 | 418,552 | 3,052,075 | 34,086,041 | 383,136 | 40 | $19.12 | $19.12 |
| claude-sonnet-5 | blind-spot | 106 | 127,157 | 1,089,163 | 12,501,937 | 174,313 | 0 | $7.22 | $7.22 |
| claude-opus-4-8 | review | 6 | 12 | 378,228 | 248,727 | 620 | 0 | $2.50 | $2.50 |
| claude-sonnet-5 | chunking | 1 | 49,852 | 0 | 0 | 15,579 | 0 | $0.26 | $0.26 |
| claude-sonnet-5 | dedup | 1 | 20,645 | 0 | 0 | 5,427 | 0 | $0.10 | $0.10 |
| claude-sonnet-5 | other:perspective_selection | 1 | 9,029 | 0 | 0 | 1,511 | 0 | $0.03 | $0.03 |
| total | 565 | 754,518 | 5,520,778 | 68,656,719 | 800,402 | 46 | $52.53 | $52.53 |
4.1 两套价格口径:true $ 与 gw $
报告解释了两种计价方式:
true $:按列表价反算(fresh 1× + cache write 1.25× + cache read 0.1× + output)。价格表硬编码在 dump_result.py 的_LIST_PRICES中,例如claude-sonnet-5: (2e-06, 1e-05, 2e-07, 2.5e-06)(分别对应 fresh 输入 / 输出 / cache read / cache write 的每 token 美元价);gw $:网关(LiteLLM)实际记账的$ai_total_cost_usd。两者在本例中完全一致(Δ = +0.0%),说明网关价格与列表价吻合。
4.2 为什么"naive 方法"不可用于门禁
报告中有一个醒目的警告行:
naive method(所有 prompt token 按输入价计):$231.91 —— 是真实成本的 4.4 倍;永远不要用它做门禁(gate)。
原因在 dump 脚本的注释里写得非常清楚:$ai_input_tokens 是整个 prompt(fresh + cache read + cache write 之和),把它整体按输入价求和,会把缓存读取的 0.1× 成本按 1× 计算。在缓存重度使用的运行中(本报告 cache read 高达 68.6M tokens,fresh 仅 0.75M),naive 方法会系统性高估 4-5 倍。
4.3 网关逐侧交叉校验
报告还把网关记账拆成五个侧面与 true 反算对比(全部 Δ ≈ 0%):
- 输入侧(fresh + cache write + cache read):$41.2241 / 565 gens
- 其中 cache read:$20.3520 / 548 gens
- 其中 cache write:$18.9752 / 562 gens
- 其中 fresh(推导):$1.8969 / 565 gens
- 输出:$11.3106 / 565 gens
同时报告披露了 46 个 gen 的 prompt 超过 200K tokens(>200K 列),并说明:网关对这批模型按 flat 价计价,因此两列都不包含长上下文溢价——这是成本口径的一个已知边界。
4.4 tainted 报告的成本为何"不可比"
报告中 tainted 警告直说"成本(wave 阶段约 2×)不可比":因为 16 task-runs / 8 results 的双执行意味着 review 阶段(263 gens、$19.12)被重复计费了一遍。因此这份 tainted 报告的 $52.53 是约 2× 夸大的 wave 成本,而对照用的干净运行 A-sonnet5-xhigh-1.md 的 total 是 $46.52(452 gens)——两者不可直接比较,只能以干净重跑为准。
5. 跨沙箱缓存共享的探针:Turn-1 cache reads
dump 脚本为每一个 sandbox unit 记录了首轮生成的 cache read / cache write,以此作为"跨沙箱缓存共享"的哨兵:
| unit | step | first gen | t1 cache read | t1 cache write | models |
|---|---|---|---|---|---|
| …d7a9c22b | issues-review-p2-c1 | 13:32:38 | 0 | 70,808 | claude-sonnet-5 |
| …97bef48c | issues-review-p3-c1 | 13:32:46 | 22,746 | 48,059 | claude-sonnet-5 |
| …cd15c778 | issues-review-p1-c3 | 13:32:47 | 22,746 | 36,247 | claude-sonnet-5 |
| … | … | … | … | … | … |
| …4605c3ae | issues-review-p3-c2 | 13:34:36 | 22,746 | 50,328 | claude-opus-4-8, claude-sonnet-5 ⚠️SWITCHED |
| …d5fbce63 | issues-review-p1-c1 | 13:34:38 | 22,746 | 48,059 | claude-opus-4-8, claude-sonnet-5 ⚠️SWITCHED |
要点解读:
t1 cache read > 0的单元:19/26。报告特别注明"报分布,不报中位数"(report the distribution, not a median)——这是评估方法论中的一条纪律:中位数会掩盖多峰分布。- t1 cache read = 22,746 tokens 的一致性:这是所有 wave 单元共享的
<a href="https://link.gitcode.com/i/caa7510dab4975b7b22489e5aa406f0a" target="_blank">tools + system-preset]prompt 前缀被跨沙箱命中缓存的证据。多个沙箱几乎同时启动时,前一个沙箱写入的缓存前缀被后一个读取——这正是 [RUN_LOG.md 里 2026-07-06 记录过的"意外的跨沙箱缓存共享"现象的复现。 ⚠️SWITCHED(2 个单元):…4605c3ae与…d5fbce63的 models 列出现了claude-opus-4-8, claude-sonnet-5——单元在中途从 Sonnet 回退到 Opus(SDK 的fallbackModel过载救援)。dump 脚本对此的判定是:这些单元的缓存共享与成本钉扎(cost pinning)都失效了("cache sharing and cost pinning are broken for them")。这就是 tainted 警告里"2 个单元中途回退到 Opus"的表格级证据。
6. 阶段计时与评审单元分解
6.1 逐阶段墙上时钟
| stage | duration |
|---|---|
| fetch + snapshot | 0s |
| chunking | 2m 24s |
| perspective selection | 18s |
| review wave (perspectives) | 26m 23s |
| blind-spot sweep | 30m 41s |
| dedup (incl. combine/clean) | 54s |
| validation | 40m 57s |
报告明确指出:"Review stage total(selection → 最后一个 finder 单元,wave + blind-spot):57m 04s —— 这是评审模型速度对比数字"。也就是说,跨模型比较速度时,只看从 perspective selection 结束到 blind-spot 最后一个单元完成之间的时长。
两条重要约束(dump 脚本源码注释):
- 计时来源于 artefacts 的
created_at(每个阶段/单元在完成时持久化); - 只对全新(fresh)、非续跑(non-resumed)的运行有意义——续跑会复用旧 artefact,导致计时失真。tainted 运行因为双执行,其阶段计时同样不可比。
6.2 Per-review-unit 分解
| pass | chunk | perspective | raw issues |
|---|---|---|---|
| 1 | 1 | review-hog-perspective-contracts-security | 2 |
| 1 | 2 | review-hog-perspective-contracts-security | 2 |
| 1 | 3 | review-hog-perspective-contracts-security | 4 |
| 2 | 1 | review-hog-perspective-logic-correctness | 1 |
| … | … | … | … |
| 1000 | 1 | review-hog-blind-spots-general | 1 |
| 1000 | 2 | review-hog-blind-spots-general | 2 |
| 1000 | 3 | review-hog-blind-spots-general | 2 |
| 1000 | 4 | review-hog-blind-spots-general | 3 |
- pass 编号即视角的 1-based 序号(见 ARCHITECTURE.md 第 5 步):1 = Contracts & Security,2 = Logic & Correctness,3 = Performance & Reliability。
- pass ≥ 1000 是 blind-spot sweep 的保留编号(dump 脚本中
pass >= 1000即判定为 blind-spot)。 - 三种视角分别对应三个 DB 同步的 LLM skill:review-hog-perspective-contracts-security、review-hog-perspective-logic-correctness、review-hog-perspective-performance-reliability,以及通用的 review-hog-blind-spots-general。
6.3 本次 tainted 运行的 chunk 划分
| chunk | 文件数 | 内容 |
|---|---|---|
| chunk 1 | 8 | review_hog 后端(models.py、migrations/0019、api/settings.py、receivers.py)、前端 CodeReviewScene.tsx、生成的 TS 类型 |
| chunk 2 | 8 | stamphog 后端(facade/api.py、inbox_hooks.py、tasks/tasks.py、temporal/activities.py、logic/reviewer.py)、tasks 产品 facade、tach.toml |
| chunk 3 | 4 | tools/pr-approval-agent 的 review_pr.py、review_local.py、reviewer.py、version.py |
| chunk 4 | 2 | products/stamphog 的 AGENTS.md、README.md |
分块逻辑由 split_pr_into_chunks 执行:把变更文件按内聚性、依赖、层边界分组为逻辑上可独立评审的单元,再按评审优先级排序。目标 PR #72680("stamphog 自动评审收件箱 PR"功能)约 742 行可评审新增,走 one-shot 分块路径,产生 4 个 chunk。
7. Findings 逐条裁决:验证器如何执行"precision over recall"
这是报告的主体。25 个 post-dedup findings 中,1 个 ✅ VALID、24 个 ❌ dismissed,没有一个被独立验证为 must_fix(注意:tainted 运行被逐条保留进验证,但结论是"可用"而非"必改")。验证器执行的正是 review-hog-validation-criteria 技能中的纪律:
指导原则是 precision over recall(宁可漏,不可错):一个制造噪音的评审会被静音。当你真正不确定一个问题是否重要时,丢弃它。少量真实、可操作的 findings 远比一长串"也许"更有价值。
该技能明确定义了保留与丢弃类别:
- 保留:真实影响用户/代码库的正确性 bug、安全问题、数据丢失/损坏、契约破坏、"在真实规模下咬人"的性能问题、资源/可靠性缺陷;
- 丢弃:过度设计、投机性"what if"、防御性编码偏执、永远不会发生的边缘情况、纯风格/品味、已被其他地方处理(already handled)、错误/不可复现(前提不成立)。
下面用三个有代表性的 finding 展示验证器的裁决模式(同一 PR 在干净运行 A-sonnet5-xhigh-1.md 中也有完整记录):
7.1 例一:❌ dismissed(错误前提类)
_parse_pr_url 用未锚定的子串匹配解析 GitHub PR URL(should_fix · security,products/stamphog/backend/tasks/tasks.py:113-121)——视角:contracts-security。
- 问题描述:
_PR_URL_RE = re.compile(r"github\.com/([^/\s]+/[^/\s]+)/pull/(\d+)")配合.search()会把字符串中任意位置的github.com/.../pull/N当作合法 PR URL,包括https://evil.example/redirect?to=github.com/owner/repo/pull/1这种伪装 URL。 - 验证器反驳:逐一核对了
_parse_pr_url的全部调用方(唯一调用点是process_inbox_pr_review)、pr_url的来源(来自queue_inbox_pr_review← review_hog receiver 的output.get("pr_url"),是"agent server 观察到 agent 打开 PR 时写入的真实 URL")、以及返回值repository的下游用法(仅作为团队范围 DB 查询的键,实际 GitHub fetch 用的是 DB 行里的repo_config.repository)。结论:锚定 host 并不能关闭任何真实漏洞,pr_number 的信任度在两种情况下完全相同,且输入本身不可能以描述的方式出现。 - 裁决:投机性加固 + 前提不成立 → 按 precision-over-recall 丢弃。
7.2 例二:❌ dismissed(已被处理类)
self_driving 标志用 bool() 真值强制转换而非严格布尔检查(should_fix · security,tools/pr-approval-agent/review_local.py:321)——视角:contracts-security。
- 问题描述:
self_driving=bool(context.get("self_driving_review"))对来自外部 JSON 的值做真值强制转换,理论上 JSON 字符串"false"会被bool()判为True,从而悄悄打开自助驾驶豁免。 - 验证器反驳:追查了完整的生产者→消费者链——context JSON 并非"外部 blob",而是服务端对原生 Python bool 的序列化:
build_reviewer_invocation参数类型为bool,经json.dumps→json.load往返后永远是原生true/false;action 场景则完全省略该键 →bool(None)→False,且有test_bot_authored_context_without_the_flag_is_refused测试锁定 fail-closed 行为。 - 裁决:投机性 what-if + 已被类型和调用点排除 → 丢弃。报告特别指出"
is True的修复不会关闭任何真实攻击面"——能注入真值字符串的攻击者同样能注入原生true。
7.3 例三:✅ VALID(唯一通过验证器的 finding)
这份 tainted 报告中唯一 ✅ VALID 的 finding 是:
find_signal_implementation_run 排除了它本该识别的任务(task.internal 对所有自动启动的实现任务恒为 True)(must_fix · bug,products/tasks/backend/facade/api.py:504-509)——视角:logic-correctness。
- 问题描述:
find_signal_implementation_run在task.internal为真时直接返回None,但生产环境唯一的自动启动路径products/signals/backend/auto_start.py(_create_and_record_task_atomic调用create_and_run_task(..., internal=True, ...))恰好全部设置internal=True(注释:"Internal so the run stays out of the default task list")。因此该函数对真实的自助驾驶实现任务恒返回 None,导致 webhook 重评审豁免(_inbox_rereview_carve_out)永远无法正识别自助驾驶 PR——每个synchronize/reopened推送都落入普通 bot-author 跳过路径,而该路径的_retract_stale_approvals_on_skip会无条件撤销任何 standing approval 且不再重评审。 - 验证器确认:前提成立(所有生产信号报告任务都带
internal=True,唯一internal=False的是开发 seed 数据);测试为何漏掉:test_inbox_trigger.py用internal=False构建可评审任务,只断言internal=True被跳过——测试套件从未用真实任务形态跑过。 - 裁决:must_fix 正确——该 bug 使 PR 的核心 webhook 重评审豁免对其服务的 PR 完全失效,且对现有测试不可见。这是本轮 tainted 运行保留下来的唯一有效发现,并且它在后续干净运行(A1 以外的多次运行)中被反复验证为真实 must_fix 集群的核心。
这个 finding 在 FINAL_REPORT.md 中被列为实验最重要的副产品之一:GLM 在两次运行中都抓到它(Y5/Q5),Sonnet 只在两次中的一次抓到(P12),而 tainted 的 A1 漏掉了它——这份 tainted 报告也因此成为"单次运行方差"(single-run variance)的活教材。
8. 实验结论:tainted 报告在整轮实验中的位置
把这份 tainted 报告放回实验全貌(FINAL_REPORT.md):
- A1 tainted → 立即重跑。FINAL_REPORT 的 Incidents 一节明确记录:"Tainted first A1(
A-sonnet5-xhigh-1-tainted.md):nodemon worker 重启导致每个 wave 单元双执行(僵尸沙箱持续计费)。教训:运行期间永远不要碰仓库里的*.py文件。"——这是 tainted 报告标题中"Superseded by the clean re-run"的由来,干净重跑即A-sonnet5-xhigh-1.md(4 chunks / 13 units / 25→20→3 / 总成本 $46.52)。 - A/B 结论:Sonnet 以 14/44(31.8% verified-real 精度)对 GLM 的 7/36(19.4%)胜出——Sonnet 是"广度 + 精度 + 稳定",GLM 是"可重复的深度"(独揽 4 个已确认 must_fix 中的 3 个)。盲评面板 2-1 倾向 GLM,但权衡后 Sonnet 保留默认评审器位置。
- 实验方法论的沉淀:这份 tainted 报告与整套 run dump 一起,构成了 ReviewHog 评估体系的完整实证样本——包括本文第 4 节的缓存感知成本、第 5 节的跨沙箱缓存探针、第 6 节的阶段计时、第 7 节的逐 finding 验证裁决。
- 对当前 master 的延续:实验结论最终改变了生产默认——当前 constants.py 的默认评审臂已变为
codex / gpt-5.6-sol / xhigh / full-access(第 5 轮实验中以 ~$11/run、~8 分钟 review stage、33.3% 精度成为"效率前沿"的模型),而这份 tainted 报告正是这场模型选型马拉松的第一块基石。
9. 实用附录:如何复现一次评审质量 run
9.1 运行一次评审
本地运行评审(来自 ARCHITECTURE.md 的 Preflight 与 Entry point 章节):
flox activate -- bash -c "DJANGO_SETTINGS_MODULE=posthog.settings python manage.py \
run_review --pr-url https://github.com/PostHog/posthog/pull/<N> --team-id 1 --user-id 1 [--publish]"
前置条件:temporal worker 与 backend 进程运行中(nodemon 热重载)、三条 ngrok 隧道(django → :8010、gateway → :3308、mcp → :8787)、目标 PR 非 fork 且可评审。
9.2 导出运行报告(dump)
LABEL=A-sonnet5-xhigh-1-tainted RUN_SECONDS=6152 RUN_START_EPOCH=<epoch> \
OUT_DIR=products/review_hog/eval/experiments/<exp>/runs \
python manage.py shell -c "exec(open('products/review_hog/eval/scripts/dump_result.py').read())"
脚本读取 team 1 最新一条 ReviewReport 及其 ReviewReportArtefact,输出包含:config snapshot、chunking、逐视角分解、raw→dedup→valid 漏斗、review-unit 数、墙上时钟、缓存感知本地 $ai_generation 花费拆分(每模型 × 阶段,list-price true $ vs 网关 gw $,每单元 turn-1 cache reads),以及带验证裁决的完整 findings 列表。
9.3 本地状态重置
DEBUG=1 python manage.py reset_review_hog --yes
清空所有团队的 review_hog 表(DEBUG-only;不影响 GitHub 评论)。注意:dump 永远在 reset 之前执行(实验协议第 6 步)。
9.4 避免 tainted 的运维纪律
从这份 tainted 报告中可以直接提炼出三条铁律:
- 运行期间不要编辑
products/**/*.py——nodemon 会重启 temporal worker,导致 in-flight 单元双执行、僵尸沙箱计费; - 任何 run 结束立即 dump,且 dump 先于 reset;
- 成本与阶段计时只在 fresh、非续跑、无模型切换的运行间可比——tainted、续跑、含
⚠️SWITCHED单元的运行,其 findings 可保留但成本/速度不可比。
参考资料(仓库路径)
- 关联文档:A-sonnet5-xhigh-1-tainted.md
- 实验计划与结论:PLAN.md、FINAL_REPORT.md
- 干净对照运行:A-sonnet5-xhigh-1.md
- 运行日志与 dump 工具:RUN_LOG.md、dump_result.py
- 架构参考:ARCHITECTURE.md
- 评审配置与技能:constants.py、review-hog-validation-criteria、review-hog-blind-spots-general