StaffML Vault 链式问答覆盖路线图:从 373 到 843 条教学链的规模化构建实战

原创2026-09-10 12:33:411,950 阅读
文章标签:教育文档教程人工智能深度学习机器学习模型量化

StaffML Vault 链式问答覆盖路线图:从 373 到 843 条教学链的规模化构建实战

本篇技术指南系统讲解 StaffML 面试准备平台中"教学链(pedagogical chain)"体系的完整落地路线:如何用 Gemini 在 1 万+ 道面试题语料上自动构建 Bloom 分级递进的问题链,如何用 primary/secondary 分层机制平衡覆盖率与质量,如何通过 gap 驱动的方式持续补写缺失的题目,以及如何通过独立 AI 审计发现并修正流水线自身的系统性缺陷。读完本文,你将掌握一套可复用的"诊断覆盖率 → 宽松二轮扫描 → 分层合并 → gap 驱动出题 → 独立审计"的数据规模化方法论,并能直接对照仓库源码复现每一个关键步骤。


一、背景:为什么 StaffML 需要教学链

StaffML 是 ML 系统方向的面试准备平台,其核心资产是位于 interviews/vault/questions/ 下的数万道 YAML 格式面试题。在 v1.1 架构中,题目按 (track, topic) 分桶存储,track 包括 cloud、edge、mobile、tinyml、global 五类,topic 则覆盖 87 个 ML 系统子主题(如 kv-cache、roofline-analysis、latency-decomposition 等)。

教学链(chain) 是平台的核心教学组织方式:它是在单个 topic 内、按 Bloom 认知层次(L1→L2→L3→L4→L5→L6+)递进的问题序列,链中每一道题都建立在前一道题之上——共享场景或共享概念,认知负荷逐级增加。教学链支撑着平台的三大核心场景:

  • 每日挑战(daily challenge):题目序列必须体现递进关系,不能随机抽取;
  • "深度练习某主题"(drill this topic):为学习者提供结构化的路径;
  • 模拟面试排序(mock interview):按认知难度组织题目出场顺序。

在路线图启动之初(2026-04-30),语料库状态如下:

指标 数值
已发布题目 9,438(加载总量 10,701)
教学链总数 373
有链覆盖的 topic 54 / 87
各 track 链密度 cloud 3.0 / topic,edge、mobile、tinyml < 0.6
待补 gap(缺环) 138(严格模式检出)

373 条链对 87 个主题、上万道题来说过于稀疏:87 个主题中只有 54 个拥有任意一条链,且 edge/mobile/tinyml 的链密度不足 cloud 的五分之一。路线图的总体目标是将链总数提升至 700–900 条(约覆盖语料库的 30%–40%),并为此规划了四个阶段。

二、架构前提:Sidecar 链注册表与层级化语料布局

在进入阶段细节前,需要先理解 v1.1 的两项关键架构决策(详见 interviews/vault/ARCHITECTURE.md §3.6):

  1. Sidecar 架构:interviews/vault/chains.json 是链注册表的唯一权威来源(authoritative);所有 10,701 道题 YAML 中的 chains: 字段已被剥离。链数据与题目数据分离存储,使得链的构建、重建、合并都不需要触碰题目 YAML。
  2. 层级化路径:所有题目位于 interviews/vault/questions/<track>/<area>/<id>.yaml,其中 area 是 topic 所属的领域子目录(如 edge/optimization/edge-2536.yaml)。

这套架构的直接收益体现在流水线设计上:build_chains_with_gemini.py 的模块 docstring 明确写道:"Sidecar architecture: chains.json is the authoritative registry. This script writes a new staging chains.json — never edits YAMLs." 也就是说,整个链构建流水线产出的只是暂存文件(staging file),经过校验后才替换线上注册表,题目 YAML 全程只读。

三、Phase 1:二轮覆盖构建(373 → 879 条)

Phase 1 的目标是将链数量翻倍:通过放宽 Gemini 的提示词,对严格模式产出 0 条链的约 150–211 个分桶进行二轮扫描,并将新链标记为 tier: secondary,以便 UI 对它们做降权展示。该阶段拆分为 6 个子步骤。

1.1 覆盖率诊断:diagnose_chain_coverage.py

第一步是量化"哪些桶没有链"。交付物为 diagnose_chain_coverage.py,其核心逻辑:

  • 通过 vault_cli.policy.is_published 加载仅已发布的语料(与 vault build 使用同一谓词,保证口径一致);
  • 按 (track, topic) 分桶,统计每桶的题目数、链数、qid 列表、chain_id 列表;
  • 输出两类需要二轮扫描的桶:
    • uncovered_buckets:≥3 道题且 0 条链;
    • under_covered_buckets:≥6 道题且仅 1 条链;
  • 结果写入 interviews/vault/chain-coverage.json(gitignored,可随时重新生成),并在 stdout 打印按 track 汇总的表。

实际运行结果(2026-04-30,树处于 1ac7d4c56):

track       buckets  questions  chains  chains/topic  uncov  undercov
cloud            82       4028     242          2.95     41         0
edge             76       2077      49          0.64     58         0
global           48        313       0          0.00     32         0
mobile           62       1818      46          0.74     46         1
tinyml           45       1202      36          0.80     34         0

关键发现:未被覆盖的桶高达 211 个(高于路线图预估的 ~150),但量级相符;cloud:roofline-analysis(144 道题、0 条链)是最大的单桶缺口——首轮严格扫描在 cloud 整体覆盖率很高的背景下完全漏掉了它;而唯一的 under-covered 桶 mobile:transformer-systems-cost(54 道题、1 条链)值得针对性重试。

1.2 宽松模式提示词:--mode lenient

第二步为 build_chains_with_gemini.py 新增 --mode {strict,lenient} 参数。源码中将提示词拆分为 STRICT_PROMPT_TEMPLATE 与 LENIENT_PROMPT_TEMPLATE,并用 MODE_CONFIG 字典统一管理模式与允许的 Δ 集合,确保 build_prompt 与 validate_chain 保持同步:

MODE_CONFIG = {
    "strict":  {"prompt_template": STRICT_PROMPT_TEMPLATE,  "allowed_deltas": frozenset({1, 2})},
    "lenient": {"prompt_template": LENIENT_PROMPT_TEMPLATE, "allowed_deltas": frozenset({1, 2, 3})},
}

两种模式对 Δ(相邻成员的 Bloom 层级差)的规则对比:

规则 strict(默认) lenient
首选形态 严格 +1(L1→L2→L3…) 强烈偏好 +1
可接受跳跃 +2(桶内无 Δ=1 候选时) +2(无 Δ=1 候选时);+3(仅当无更小中间层时)
Δ=0(同级) 拒绝 拒绝(2026-05-02 起)
倒退(Δ<0) 拒绝 拒绝

Δ=0 的历史教训:宽松模式最初允许"同一场景、不同角度"的同级配对(Δ=0),但独立审计发现 55 条 Δ=0 链中有 54 条并不共享场景线程——该约束在实践中根本约束不住 LLM。2026-05-02 的提交将 MODE_CONFIG["lenient"]["allowed_deltas"] 从 {0,1,2,3} 改为 {1,2,3},并在 LENIENT_PROMPT_TEMPLATE 中显式改写为拒绝同级配对(详见 test_chain_validation.py 的 test_lenient_rejects_same_level_pair)。这一修订体现了"审计发现 → 设计结论修正"的完整闭环:Δ=0 是同级的边,与"跨 Bloom 层级递进"的链定义本身矛盾,而不是一个可以靠提示词修好的 bug。

除模式切换外,process_batch 会为宽松模式的链打上 tier: "secondary",并使用 -secondary 后缀的 chain_id(如 edge-chain-auto-secondary-014-02),避免与 primary 链 ID 冲突。

1.3 校验器同步:Δ 规则与 tier 字段

第三步同步 apply_proposed_chains.py 与测试:validate_chain 按模式接受相应 Δ 集合,两条模式仍共同拒绝倒退、跨主题与越界尺寸(2 ≤ 成员 ≤ 6)。apply_proposed_chains.py 的文档串明确:tier 字段是 UI 路由提示(UI-routing hint),不是结构性不变量,因此刻意不做校验。测试新增 19 个用例覆盖两种模式的全部边界(Δ=0/Δ=3 在 lenient 接受、strict 拒绝、倒退、跨主题、尺寸 1 和 7),并通过 importlib 加载脚本(该脚本不在可导入的 vault_cli 包内)。

1.4 二轮扫描执行

针对 211 个未覆盖桶运行宽松扫描:

python3 interviews/vault-cli/scripts/build_chains_with_gemini.py \
  --mode lenient \
  --buckets-from interviews/vault/chain-coverage.json \
  --output interviews/vault/chains.proposed.lenient.json

实际执行参数:17 次 Gemini-3.1-pro-preview 调用、约 22 分钟墙钟时间,产出 506 条链(超出 200–400 的预估区间)和 269 个新 gap。执行细节值得注意:

  • 自适应批处理:plan_batches 将小桶打包进每次调用,以 MAX_INPUT_CHARS_PER_CALL = 320_000(约 80K tokens,安全低于 1M 上下文)和 MAX_QUESTIONS_PER_CALL = 250 为约束,目标是全语料 ≤90 次调用(250/天的配额内);
  • 增量持久化:每次调用后立即将已接受链写入输出文件,可用 python3 -c "import json; print(len(json.load(open('interviews/vault/chains.proposed.lenient.json'))))" 监控增长;
  • 进程管理:用 nohup 启动避免 shell 退出杀死任务;
  • 调用间隔:inter_call_delay_s = 8 秒退避,规避 Gemini 侧 429;
  • 容错调用:call_gemini 会尝试解析 stdout 中的 JSON(即使进程非零退出),因为 Gemini CLI 常在输出有效 JSON 的同时返回非零码;无 JSON 时才视为失败。

1.5 合并主次链:merge_chain_passes.py

第四步交付 merge_chain_passes.py,实现主次链合并与多链成员上限(multi-membership cap)强制:

  1. 加载现有 chains.json,所有条目补齐 tier: "primary";
  2. 加载 chains.proposed.lenient.json(已带 tier: "secondary");
  3. 拒绝任何会把某个 qid 推入第 3 条链的 secondary 链(全局上限 2);
  4. 拒绝任何会让非 L1/L2 的 qid 进入第 2 条链的 secondary 链(非锚点 qid 上限 1);
  5. 按 chain_id 排序拼接、写回 chains.json,并打印保留/新增/拒绝统计。

源码中的关键常量:ANCHOR_LEVELS = frozenset({"L1", "L2"})、MULTI_MEMBERSHIP_CAP = 2。合并逻辑体现"primary 优先"的设计哲学——primary 链原样保留,secondary 是语料库可以吸收的余量,而不是反过来。本次实际合并 0 次 cap 拒绝(因为宽松扫描只针对未覆盖桶,secondary 的 qid 天然全新),最终合并数 373 + 506 = 879 条。

1.6 重建验证与提交

vault check --strict                          # 10,701 加载,0 不变量失败
vault build --local-json                      # releaseId=dev, published=9438, chainCount=879
node interviews/staffml/tests/chain-and-vault-smoke.mjs   # 13/13 通过
python3 interviews/vault-cli/scripts/apply_proposed_chains.py --proposed interviews/vault/chains.json --dry-run

Phase 1 的覆盖率收益(宽松扫描前后):

track primary secondary total chains/topic 之前 → 之后
cloud 242 116 358 2.95 → 4.37
edge 49 148 197 0.64 → 2.59
mobile 46 113 159 0.74 → 2.56
tinyml 36 83 119 0.80 → 2.64
global 0 46 46 0.00 → 0.96
all 373 506 879 1.19 → 2.81

有链覆盖的桶从 102/313(33%)跃升至 285/313(91%);剩余的 28 个未覆盖桶要么太小(≤2 题),要么宽松扫描判定题目确实互不相关。

四、Phase 2:tier 分层(schema + TS + UI)

Phase 2 的目标是让链携带 tier 作为权威元数据,UI 默认面优先展示 primary 链,把 secondary 链放到"更多路径"中。分四步落地。

2.1 Schema 迁移(后端)

  • chains.json 中每条链必须携带 tier: "primary" | "secondary";
  • validator.py:tier 必填,缺失时默认 "primary";
  • legacy_export.py:新增 _build_chain_tier_index(qid → {chain_id: tier}),与已有的 _build_chain_index 平行;_adapt 为每条带 chain_ids 的旧条目输出新的 chain_tiers 字段,缺失的 tier 默认 "primary"。

vault build 重跑后 2,953 道被链覆盖的题全部携带 chain_tiers(100% 覆盖),且 releaseHash 与 Phase 1 保持一致(04ee8a23…)——新字段不扰动 manifest 哈希输入。注意此处对 tier 不做 validator 校验(它是 UI 路由提示,非结构性不变量),与 1.3 的设计决策一致。

2.2 TypeScript 类型

在 corpus.ts 中:

  • Question 接口新增可选字段 chain_tiers?: Record<string, "primary" | "secondary">;
  • 导出新类型 ChainTier = "primary" | "secondary";
  • ChainInfo 新增必填 tier 字段;
  • 新增内部映射 _chainTier: Map<chainId, ChainTier>,与 _chainIndex 平行构建,使运行时能以 O(1) 回答"这条链是什么 tier",无需重扫题目;
  • getChainForQuestion 与 getAllChainsForQuestion 为返回的 ChainInfo 填充 tier,后者将 primary 链排在前面;
  • 新增 getPrimaryChainForQuestion(qid):返回第一条 primary 链,回退到第一条 secondary 链,再回退 null——这是默认展示面的核心辅助函数。

2.3 UI 层:默认面优先 primary

  • practice/page.tsx:读取 ?chain=<id> URL 参数,显式指定时用 getChainForQuestion(qid, chainParam),否则用 getPrimaryChainForQuestion(qid);
  • ChainBadge.tsx:新增可选 tier prop,当 tier === "secondary" 时渲染一个常驻可见的 "alt path" 小胶囊(无需点击即可发现 tier);默认 "primary" 以兼容既有调用点;
  • ChainStrip.tsx:在进度点行同样显示 "alt path" 胶囊;
  • explore/page.tsx:题目在多条链中时,相关题面板优先选第一条非 secondary 链作为 activeChainId。

路线图原计划的 explore 页 "Primary only / All" 过滤下拉与每日挑战/模拟面试路由改动被推迟(见 Phase 4 B3 的后续补做),因为 secondary 链已可通过 ?chain= URL 到达且不污染默认面。

2.4 Playwright 测试

在 chain-and-vault-smoke.mjs 新增 test7_tier_aware_chain_routing,覆盖四条断言:

  1. secondary 链可通过 ?chain=<id> URL 参数到达;
  2. secondary 链上可见 "alt path" 徽标;
  3. primary 链题目仍正常加载(回归检查);
  4. primary 链上不出现 "alt path" 徽标(反向检查)。

测试夹具固定为 cloud-0231(仅 secondary)、cloud-chain-auto-secondary-013-04 与 cloud-0001(primary)。全套 17/17 通过(原 13/13)。

五、Phase 3:gap 驱动的题目补写

Phase 3 是可持续的语料增长策略:利用 gap 文件(gaps.proposed.json 138 条 + gaps.proposed.lenient.json 269 条 = 407 条待补缺环)自动补写缺失的中间层题目,并在提交前独立校验。

3a 出题工具:generate_question_for_gap.py

generate_question_for_gap.py 的输入是一条 gap 记录:

{
  "track": "edge",
  "topic": "memory-mapped-inference",
  "missing_level": "L3",
  "between": ["edge-0220", "edge-0224"],
  "rationale": "Bridge demand-paging concept to fault-tolerance application"
}

处理管线(每 gap 三步):

  1. 预过滤(1 次 Gemini 调用):判断 gap 的两个锚点题是否真的共享场景线程,丢弃"幻觉 gap"(2026-05-02 审计显示约 70% 的检测 gap 通不过此检查),可用 --skip-prefilter 跳过;
  2. 生成(1 次调用):加载 between 两题的完整正文(scenario + question + solution)+ 同桶同层级最多 3 道示范题 + Pydantic Question schema 摘要(SCHEMA_SUMMARY 常量),提示 Gemini 起草符合 schema 的桥接题;
  3. Pydantic schema 校验:通过才落盘。

产出写入 interviews/vault/questions/<track>/<area>/<auto-id>.yaml.draft——.draft 后缀是刻意的:vault check / vault build 只加载 *.yaml,草稿随树携带但完全不进入发布集合。ID 分配器同时扫描已提交 YAML 与已写草稿,保证批量生成的 30 个 ID 互不冲突(registry 追加发生在 promote 阶段而非生成阶段)。

生成元数据以私有 _authoring 块记录(来源模型、工具名、时间戳、源 gap 条目);Pydantic Question 模型 extra="allow",因此可通过 schema 校验。

3b 五闸门验证框架:validate_drafts.py

validate_drafts.py 为每份草稿产出五闸门评分卡:

闸门 方法 判定
1. schema Pydantic Question(与已发布题同一门禁) 必须通过;失败则跳过后续闸门(省 LLM 调用)
2. originality 用 BAAI/bge-small-en-v1.5 对 title+scenario+question 做嵌入(与语料 embeddings.npz 同模型,余弦可直接比较),对比同桶近邻 任一邻居 cosine ≥ 0.92 → 判定过份重复
3. level_fit Gemini 裁判,对照同 (track, topic) 目标层级的 ≤5 道已发布题 认知负荷是否与 level=L<N> 一致
4. coherence Gemini 裁判 scenario / question / realistic_solution 是否内部一致
5. bridge Gemini 裁判(两个 between 题入上下文) 新题是否真正衔接 gap 的两个锚点

输出 interviews/vault/draft-validation-scorecard.json:

{
  "draft_id": "edge-2545",
  "schema_ok": true,
  "originality_cosine": 0.81,
  "level_fit": "yes",
  "scenario_coherence": "yes",
  "bridge_check": "yes",
  "verdict": "pass",
  "rationale": "..."
}

跳过开关:--no-originality(跳过嵌入模型加载)、--no-llm-judge(跳过 Gemini 闸门,仅跑 schema + originality,用于快速分诊);schema 闸门不可跳过。

3c–3d 试点运行与晋级(5 个 gap)

试点从路线图建议的 30 个缩小到 5 个高价值 gap(偏好已有 ≥4 道题的桶、偏向低密度 track),全部落在 edge/mobile。结果:

目标 gap 结果
edge-2535 edge/latency-decomposition L?→L3 between=[edge-1883, edge-1701] 已生成,验证失败
edge-2536 edge/pruning-sparsity L?→L4 between=[edge-1960, edge-1957] 通过
edge-2537 edge/tco-cost-modeling L?→L3 between=[edge-0731, edge-1154] 通过
mobile-2146 mobile/duty-cycling L?→L3 between=[mobile-0367, mobile-2034] 通过
mobile-2147 mobile/model-format-conversion L?→L2 between=[mobile-0984, mobile-1022] 通过

4/5 通过 = 80% 通过率(高于路线图 60–75% 的预估)。唯一失败 edge-2535 被 originality 闸门正确拦截——草稿场景与锚点 edge-1883 的余弦达 0.933,超过 0.92 阈值。这正是闸门的设计意图:Gemini 偶尔会把"桥接题"写成某个锚点的换说法,而不是真正的 L3 中间层,originality 闸门将其滤除。

晋级(promotion)约定:.yaml.draft → .yaml 重命名;剥离私有 _authoring 元数据,替换为:

  • provenance: llm-draft
  • status: draft(不是 published——以人工评审为门槛)
  • authors: ["gemini-3.1-pro-preview"]
  • human_reviewed: { status: not-reviewed, ... }(未评审状态诚实且机器可查)
  • tags:保留原标签 + 新增 gap-bridge:<from>-<to> 标签便于后续检索

ID 追加到 interviews/vault/id-registry.yaml(append-only、CI 强制)。晋级后 vault check --strict 加载量从 10,701 增至 10,705,但 vault build --local-json 的发布集合不变(9,438 已发布、chainCount=879)——草稿为 status: draft,发布过滤器按设计将其排除。

3e 重建链以吸收新题

python3 interviews/vault-cli/scripts/build_chains_with_gemini.py --all \
  --output interviews/vault/chains.proposed.json
python3 interviews/vault-cli/scripts/apply_proposed_chains.py
vault check --strict
vault build --local-json

正确顺序是:人工评审 4 份草稿 → 将 status 翻为 published、human_reviewed.status 翻为 verified → 再跑全量重建。因为链构建器按 published 过滤,草稿在翻状态前不会被吸收。预期链数增长约为新题数的 50%(新题本就是"为适配链而写"的)。

六、Phase 4:平行收尾项与工程化护栏

Phase 4 覆盖若干可并行推进的工程化项目,路线图中全部有明确状态与提交记录:

编号 项目 状态与要点
4.1 链审计 CI 门禁 完成(476e9b146):staffml-validate-vault.yml 两步——apply_proposed_chains.py --dry-run 结构审计 + 每 track 链数回归守卫(cloud ≥100 / edge ≥25 / mobile ≥25 / tinyml ≥25 / global ≥0)。原建议的 vault chains audit 子命令被现有 validator 覆盖,无需新增 CLI
4.2 多链 UI 验证 审计完成:0 个 qid 同时在 >1 条链中(宽松扫描只针对未覆盖桶,天然无重叠);待 Phase 3 出题落地后该场景才会出现
4.3 出题 UX 集成 待 Phase 3 后:vault new 写后钩子调用 vault chains suggest 为新题建议链成员资格
4.4 部署流水线同步 .github/workflows/staffml-publish-live.yml 等待 cloudflare worker release_id 匹配后再部署站点
4.5 cross-encoder 重排实验 低优先级:cross_encoder_rerank_experiment.py 在 16GB 机器上 OOM,需更强机器重跑
4.6 周期性链重建自动化 完成(03ea7da6b):新 workflow 目前仅 workflow_dispatch 触发(cron 已注释),待重建在语料小幅变更下产生稳定 diff 后再开启定时;PR body 含每 track 增量 + proposed/live 计数,apply 步骤刻意保持人工
4.7 链衰减检测 完成(09c04224f):check_chain_decay.py 默认对比 origin/dev,用语料同款模型重嵌入变更 YAML,报告每条链成员的最小 mate-cosine;默认阈值 0.40,默认 advisory(exit 0),--strict 可作 CI 门禁;首版刻意不接入 pre-commit(模型加载重,首跑 ~135MB 下载,opt-in 更合理)
4.8 文档更新 完成(f086b6f42):ARCHITECTURE.md §3.6 记录 sidecar + 层级 + tier;vault-cli README 新增 "Chain build pipeline" 章节
4.9 gitignore CI 守卫 完成(dbd3d9458):staffml-validate-vault.yml 新步骤对 interviews/vault/questions/ 下被 gitignore 的 YAML 硬失败;实现为 git ls-files --others --ignored --exclude-standard,输出非空即失败
4.10 yaml-audit → dev 合并 待 Phase 1 后:从 dev worktree git merge --no-ff yaml-audit,触发全语料 CI

七、独立审计:流水线自身盲区的暴露与修正

2026-05-01 夜间的独立 Gemini 审计(audit_chains_with_gemini.py,18 次调用,每次约 80–336K 字符提示)发现了流水线自身校验器未能捕获的三个系统性缺陷:

发现 1:Δ=0 链约 98% 是坏的。 55 条 Δ=0 链中 54 条被判 bad,54/55 被判"共享场景线程:否"。宽松提示词本应只允许"共享场景"的 Δ=0,但该约束在实践中未生效。处置(2026-05-02):不仅删除坏链,还从 lenient 模式中彻底移除 Δ=0——审计将设计缺陷(Δ=0 与链定义矛盾)与实现 bug 区分开来,选择修正设计而非修补提示词。chains.json 879 → 824(55 条被删链全部为 secondary,各 track 影响:edge -19、tinyml -12、mobile -10、cloud -7、global -7)。

发现 2:gap 检测约 50% 是噪声。 抽样的 40 个 gap 中 21 个(52.5%)被判"幻觉"——两个锚点题根本不存在可供桥接的场景线程。处置:为 generate_question_for_gap.py 增加预过滤器,在发起生成调用前先拒绝锚点不连贯的 gap,节省约一半的 Phase 3 生成成本。

发现 3:试点草稿的通过率虚高。 4 份通过 validate_drafts.py LLM 裁判的草稿中:mobile-2147 接受、edge-2536 需编辑(场景截断)、edge-2537 拒绝(L3 认知负荷过低)、mobile-2146 拒绝(0.5s/4W 唤醒在物理上荒谬)。这提示 validate_drafts.py 的 coherence 裁判需要专门强化对物理真实性/捏造失败模式的检查。

校准数据:primary 链抽样 100 条中 64% good / 22% weak / 14% bad;secondary 抽样中 61% / 33% / 6% bad。tier 分层本身并没有带来显著质量劣化(good 率 61% vs 64%),真正的质量悬崖集中在 lenient 的 Δ=0 扩张上——这反过来验证了分层设计与"secondary 降权展示"策略的有效性。

八、落地后的最终状态与执行路径

截至路线图最后一条 Progress Log(2026-05-02),体系状态为:

  • 链总数 843 条(824 基线 + Phase 3 批次 +19),发布题 9,446;
  • Phase 3 批次:30 个 gap 经预过滤后 21 个被拦(70%,与审计测量完全吻合),9 份草稿生成,6 份晋级(status: published、human_reviewed: verified),3 份因层级通胀被拒,5 个桶并行重建;
  • 语料健康度普查(零 Gemini 成本,正则 + 结构检查):9,446 题中 90.9% 通过格式合规;861 题格式不合格;134 个占位标题(全在 global/);407 个 provenance: None;100% 通过 Pydantic schema;
  • 发现模板缺口:vault new 脚手架不包含 Pitfall/Rationale/Consequence 与 Assumptions/Calculations/Conclusion 模板,格式约定只存在于 SCHEMA_SUMMARY 提示词与 validate_drafts.py 的格式合规正则中——缺少人类可读的 AUTHORING.md(路线图明确列为下个会话的交付物);
  • 新文档 RELEASE_AUDIT_PLAN.md:分层抽样审计 1,000 题(每 (track, level) 单元 33 题),math + coherence + level_fit + bridge 四闸门,约 2,900 次 Gemini 调用、按 250/天上限约 12 天完成。

推荐执行顺序(路线图原表):

Week 1
  Day 1-2:  Phase 1 (1.1 → 1.6)
  Day 3:    4.1 (CI gate) + 4.10 (merge to dev)
  Day 4-5:  Phase 2 (2.1 → 2.5)
Week 2
  Day 1:    4.2 (multi-chain verify) + 4.7 (chain decay)
  Day 2-5:  Phase 3a + 3b (authoring tool + validator)
Week 3
  Day 1-2:  Phase 3c (pilot batch)
  Day 3:    Phase 3d-3e (promote + re-chain)
  Day 4:    4.6 (periodic rebuild) + 4.4 (deploy lockstep)
  Day 5:    4.8 (docs) + 4.9 (gitignore CI)
Week 4+
  Phase 3f iterations on remaining gaps
  4.3 (authoring UX), 4.5 (cross-encoder)

九、恢复工作的标准流程

路线图开篇给出了明确的恢复工作检查清单,任何新会话都应从这五步开始:

# 1. 确认分支与树状态
git branch --show-current
git status --short
git log --oneline -5

# 2. 运行基线校验器,确认树处于已知良好状态
vault check --strict           # 期望:10,701 加载,0 不变量失败
vault build --local-json       # 期望:干净构建,releaseId=dev,9438 已发布
  1. 阅读 Progress Log 最新条目,了解上一步完成的工作、决策与下一步;
  2. 检查在途产物(全部 gitignored 于 _pipeline/ 下):
ls -la interviews/vault/_pipeline/chains.proposed*.json 2>/dev/null
ls -la interviews/vault/_pipeline/gaps.proposed*.json   2>/dev/null
ls -la interviews/vault/_pipeline/runs/                 2>/dev/null
  1. 从相关 Phase 的下一步骤继续,完成后在 Progress Log 底部追加一条带日期的记录。

十、方法论总结

回顾整条路线,可以提炼出这套体系最可复用的四条原则:

  1. 暂存-校验-替换(staging → validate → replace):所有 AI 产出先进 gitignored 暂存文件,经结构校验(validate_chain、apply_proposed_chains.py --dry-run)后才进入权威注册表,题目 YAML 全程只读;
  2. 分层容忍(tiered tolerance):用 tier 元数据把"宽松模式产出的低置信链"与"严格模式的高置信链"显式分层,UI 默认面只展示 primary,secondary 通过 ?chain= URL 显式可达——既提升了覆盖率,又不牺牲默认体验;
  3. gap 驱动增长 + 多闸门质量门禁:AI 在构建链的同时免费产出 gap 信号,出题工具针对 gap 补齐缺失层级,五闸门(schema / originality / level_fit / coherence / bridge)在人工评审前先做机器过滤,再用预过滤器拦截约 70% 的幻觉 gap;
  4. 独立审计闭环:流水线自身的校验器存在盲区(Δ=0 约束失效、gap 噪声、物理真实性缺失),需要独立于构建流程的审计来暴露,并将审计结论沉淀为设计修订(删除 Δ=0)、代码变更(预过滤器)与文档约定(AUTHORING 规范)。

对于任何希望以 LLM 规模化维护高质量结构化内容库的工程团队,这条"覆盖率诊断 → 多轮次构建 → 分层合并 → 缺口驱动的持续补写 → 独立审计纠偏"的流水线,都是一个可直接对照源码复现的完整参考实现。

延伸阅读:CHAIN_ROADMAP.md(本文主文档)、RELEASE_AUDIT_PLAN.md(发布审计计划)、PHASE_3_REVIEW_GUIDE.md(草稿评审决策树)、ARCHITECTURE.md(v1.1 架构)。

登录后查看全文
cs249r_book