十亿级上下文不是堆内存:billion-context 的压缩代价与质量权衡

原创2026-10-16 15:54:572,287 阅读
文章标签:人工智能大模型LLM 网关API网关CLI开发工具AI 插件dsh-plugin

十亿级上下文不是堆内存:billion-context 的压缩代价与质量权衡

长生命周期的 coding agent 真正的瓶颈不是模型能力,而是上下文的寿命:每个 turn 积累数千 token 的工具输出、诊断与决策,滑窗截断会丢掉根因分析,阈值触发的一次性 compaction 会把整个历史糊成一团不可逆的摘要。billion-context 给出的命题反直觉:200K 的窗口就够——不换更大的窗口、不加显存、不搭检索服务,一个 4.5 个月的单用户生产部署里,174,327 次模型调用累计输入 18.76B token,204,800 token 窗口的模型零次溢出,最长会话跑到 12,049 次调用。

支撑这个数字的架构叫 the fold:模型自己决定压什么、何时压,被压的内容不丢弃而是蒸馏成可恢复的摘要块,最近工作区保持原文。本文基于该项目随仓库开源的论文(paper/model-driven-incremental-hierarchical-compression-training-free-multi-generational-context-management-for-long-lived-coding-agents.md)与内核源码,回答三个问题:压缩比与信息损失的边界在哪里,关键事实靠什么保住,以及哪些场景适合、哪些场景慎用。

一、fold 的工作方式:只压增量,不改写历史

billion-context 是一个插在 agent 与模型 API 之间的代理,解析 Anthropic / OpenAI 线协议请求,把内核的压缩管线跑在会话上,向对话注入四个上下文管理工具:compress(把一段消息折叠成摘要)、decompress(恢复某个摘要块)、search_context(关键词检索摘要)、acp_status(上下文用量报告)。

职责划分有一条刻意的分界线,写在内核文档里:模型写摘要,库负责其余一切编排(kernel/README.md)。acp-kernel 本身从不调用模型——摘要文本作为字符串参数传入,内核只决定何时压、压哪个范围、追踪块状态。每个 turn 走一条固定的节点管线(kernel/DESIGN.md):

assign-refs → sync-blocks → merge-blocks → prune → ccr-store →
filter → hide-compress-calls → nudge-inject → emergency-truncate → render-refs

整个设计的承重墙是增量性:每一轮只压缩上次压缩以来新增的内容(growth gate 默认 50K token 步长,有效下限 22.5K),窗口是 append-only 的,压缩只是"停用"被折叠的尾部范围,而不是改写历史。由此推出论文里说的三条经济学:

fold 布局:分层摘要块(tier-1/2/3)+ 约 50K 原文最近区

  • 质量:被压掉的细节风险落在任务已消费完的材料上,而不是正在用的上下文;
  • 资源:KV-cache 前缀永不被压缩失效(§四 展开);
  • 保留率:每段内容一生只被折叠一次,之后以摘要形式不变地驻留(§二 展开)。

一句话概括:增量性让压缩成为 O(增量) 操作。质量风险、缓存失效、保留率衰减、计费成本,全部变成新工作的函数,而不是历史长度的函数。

二、压缩比与信息损失的边界

生产数据测得的压缩比

以 08-20 快照审计的 17,783 个生产摘要块(16,436 个带 token 计量)为样本:

指标 数值
每次压缩输入(源范围) 中位 2.6K token,p90 40K
每次压缩输出(摘要) 中位 185 token,97.5% ≤ 2K
块级压缩比 总体中位 7.9×;工具结果主导的块中位 24×(p75 45×,最高超过 3,000×)
常驻宏观折叠比 重载会话(平均历史约 900K token)仅留约 13K 摘要,约 70×

7.9× 与 24× 的差距本身就是结论:折叠的红利集中在高体积、低密度的工具输出上——构建日志、测试输出、重复的文件读取。这些恰好是 coding agent 上下文里占比最大的部分。

两个最长生产会话的逐调用上下文:数千次调用在有限带宽内振荡

信息损失不是"损失了多少",而是"衰减律是什么"

传统阈值触发的一次性 compaction 有一个结构性问题:每轮把约 80% 的历史重新摘要成 30–50% 的摘要,早期内容每轮乘一次不可逆保留率 ρ(约 0.4–0.6)。四轮之后只剩 3–13%,八轮之后 0.7–1.7%——信息保留率随轮数几何衰减到零。滑动窗口是极限情况:出窗内容保留率恒为 0。

信息保留率随压缩轮数的衰减:阈值 compaction 按 ρ^k 几何衰减,fold 恒定在约 1/8

fold 在同样的度量下,单轮保留率只有约 1/8——绝对值比传统方案的第一轮还低。差别在时间行为:growth gate 让每轮只压已消费的增量,每段内容一生只被折叠一次,早期内容的保留率恒定在 ρ₁ ≈ 1/8 而不随轮数复利衰减。生产中 tier-2 再蒸馏只触碰了 1,711 个块中的 60 个(3.5%),二次损失可忽略。

必须说清一个口径:ρ₁ ≈ 1/8 是块级文本保留率,不是信息保真度。论文对此的表述是"保留率决定下限(早期内容不会被渐近擦除),doctrine 决定上限(驻留内容是否命中任务所需)"。这是后文 §三 的全部内容。

损失是结构化的,实验给出了边界

受控实验(Session Marathon 工作负载,窗口 65,536,18 个串行任务 × 6 遍 = 108 次执行,带从记忆回忆探针):

臂 计费 token 平均上下文 重取调用 探针
滑窗(全量保留) 5,746,120 26,548 48 78/84
确定性固定节律 2,475,567 13,115 18 78/84
BC 默认 3,936,749(−31.5%) 21,007 18(−63%) 78/84
BC-extreme(全门限放宽) 2,657,705(−53.7%) 13,724 20 80/84

三个关键事实:

  1. 默认配置下回忆探针持平,零可测回忆损失;重取(重新抓取已压缩内容)调用下降 63%。
  2. 损失集中在琐事,不在骨架。第二个工作负载把 6 步迁移计划只陈述一次(第 1 步),后续只说"继续"——计划内容在所有配置下存活,损失集中在改名历史、TTL 历史、首轮测试状态行这类 trivia。压缩不是免费的,但它有成本结构,KEEP 规则决定了结构长什么样。
  3. 激进调优的增益是 workload-contingent 的。BC-extreme 在重复型负载上更便宜且探针最好,但在阶段结构化负载上探针掉到 75.7%、执行错误 3 个(默认配置 81.6%、1 个),因为 growth gate 被放到 0.02×窗口导致 nudge 过度触发、打断任务。生产默认(0.45 下限)不是未开发的潜力,而是跨负载鲁棒点。

另外两个边界值得单独记:

  • 小窗口是 doctrine 的真实成本。在 16K 窗口的对照中,一次性 compaction 的原始 token 反而最便宜(0.39M vs BC 0.54M)——BC 的约 2K token doctrine 是每次调用约 25% 的固定开销,到 ≥64K 窗口才摊薄。这是 doctrine-first 设计诚实的小窗口代价。
  • 没有 fold 会怎样:同一会话在约 104 次调用(累计约 53M token,不到一天)后就撞穿窗口,与 fold 模式相差约 550×。论文对 1M 窗口的单会话容量上限给出 28.6B token / 106 天的模拟值(拟合外推约 19×,属模型值而非实测)。

三、关键事实保留机制的源码级拆解

保留率只保证"早期内容还在",真正决定"任务需要的东西还在"的是一套作为版本化代码交付的判断规范(doctrine),外加内核强制的硬地板。

1. KEEP/DROP 规则是导出常量,不是散文

四条承重规则以常量形式住在 kernel/src/compression-rules.ts 里,文件头注释写明它们"经过数月生产调优",并记录了两次修订的动机(一次是摘要块把编造的"用户原话"存成当前任务导致会话循环复发)。KEEP VERBATIM 清单逐字要求:

  • 带行号的完整文件路径,每次提及都带目录前缀(lib/hooks.ts:347,不许缩成裸文件名——"它们有歧义,无法 grep 或事后 decompress");
  • 函数/类/类型签名以及承载逻辑的关键代码行("那一行就是发现的行");
  • 错误信息与堆栈的精确文本("你需要字面串才能事后 grep");
  • 决策连同理由——"chose X over Y because Z",注释直接说 the "because" is load-bearing;
  • 精确值(版本、配置键、阈值、魔数)、约束发现、开放目标与未解决 TODO 的逐轮传递(Open objectives: 单行条目);
  • 用户目标的演变("initially: fix bug X → pivoted to: refactor module Y")——"丢掉目标会让后续所有工作显得没有动机";
  • 关键锚点的消息引用(m00420、m00510–m00520),让事后 decompress 能精确跳回原文。

DROP 清单同样明确:信号已提取后的冗长日志、重复文件读取、已消费的探索、死路(但保留一行教训 "tried X, failed because Y")、来回讨论(保留结果,丢掉过程)。预算紧张时的优先级:目标与约束 > 决策与理由 > 精确技术工件 > 结论 > 教训。

生产数据验证了这套规则被真实执行:08-20 样本块摘要中,精确值出现率 93%、消息引用 47%、带行号路径 39%、签名 16%。

tier-2/3 是同一套规则的两个松弛档位(同文件):tier-2 蒸馏要求每个源块 50–150 token,[SUPERSEDED by PR #NNN] 这类标记保留、被替代内容的细节丢弃;tier-3 收敛到 30–60 token 的"查找索引"——"Tier 3 is a lookup index, not a knowledge base"。

2. 改规则的人要先承认风险

kernel/src/prompts.ts 暴露的 resolvePrompts 对任何覆盖直接抛异常,除非传入 { acknowledgeRisk: true }——因为四个字段全部承重;而表层文本(分区标题、工具描述、nudge 语气)走无门槛的 tri-state 覆盖(kernel/src/surface-config.ts)。这个设计把"提示词工程"降级成了工程问题:prompt 级变更像代码一样发版,宿主钉死内核版本,回归测试对着 fixtures 保证默认输出字节级稳定。论文的原话是:这是 family-(c) 那批 SFT 方案的 training-free 替身——策略住在可检查、可版本化、跨模型不变的文本里,以天为单位演化,而不是以 GPU-月为单位。

3. 压缩时机本身就是保留机制

"何时压"由需求侧触发:上下文过窗口下限(默认 0.45)且 距上次压缩的增长超过门限才注入 nudge(nudgeGrowthTokens,见 src/config.ts)。nudge 携带带真实尺寸(token 数、消息数、工具/文本构成)的候选范围推荐列表,但从不告诉模型上下文填充比例——"被告知 20% 已用,模型会锚定在'看起来健康'上拒绝压缩";nudge 措辞是"保持上下文精简的效率提示"而非溢出警告,模型有权拒绝,拒绝是质量阀门不是失败。生产日志里 22% 的有效压缩发生在引擎未注入 nudge 的 turn 上,另有 11 次自发的压缩请求因无可压范围被内核 no-op——门限是地板,模型判断是常态。

压缩完成后的 hide-compress-calls 节点立即把注入的压缩提示从上下文里移除,不留痕迹:决策在完整注意原内容时做出,脚手架本身不占用后续任何 turn。

4. 可逆性是数据结构,不是承诺

块的数据模型(kernel/DESIGN.md):CompressionBlock 带 tier、directBlockIds(本块消耗的下级块)、effectiveMessageIds(传递覆盖的全部原始消息)。lineage 在任意再压缩后仍然成立。恢复路径在 kernel/src/compress-tools.ts 与 kernel/src/decompress.ts:

  • decompress 默认只恢复一层(T2→T1 摘要而非原始消息),full: true 恢复到原始消息;
  • toFile 模式把完整原文写到文件系统而不是塞回上下文——保住 KV 前缀的同时让模型按需读到全保真内容;
  • search_context 强制在 decompress 之前用关键词定位块。

另有一条无损旁路 CCR(Content-Cached Retrieval,kernel/README.md):达到阈值的工具结果在到达时一次性存入内容寻址的会话存储,可见副本换成字节稳定的占位符(📦 [acp-stored #m00423 · shell output · 4,213 tok]),模型经 acp_retrieve 按需取回原文,占位符在所有后续 turn 字节不变——与"摘要蒸馏"互补:CCR 管无损的整件卸载,absorb 管语义蒸馏。

5. 硬地板由内核执行,不靠提示词

提示词可以请求压缩任何东西,但地板由 filter/prune 阶段强制:压缩工具调用本身硬保护(它们装着摘要)、最近区(preserveRecentMessages)、最后一条用户消息、第一条用户消息无条件存活——kernel/DESIGN.md §8.1 记录了这条契约:即使首条用户消息被活跃块覆盖,重建后的线路上仍是"渲染摘要 + 原文并存",因为严格的 provider 拒绝没有 user 消息开头的对话,而它往往就是任务描述。最后的保险阀是 emergency-truncate(仅截断大型工具输出,永不碰摘要),且内核没有按年龄的 GC——"age-based deactivation was removed (it caused memory loss upstream)"。

四、代价的另一面:压缩本身几乎免费

增量 + append-only 布局的直接推论是压缩永不失效 KV 前缀,生产分层数据(08-20 快照,327K 次连续调用对按调用间隔分层):

调用间隔 缓存读占比
< 2 min(89% 的流量) 94.2%
2–10 min 70.2%
10–60 min 43.7%
> 60 min 9.1%

随空闲时间单调衰减是 provider 侧 TTL 到期的签名,不是布局的问题——miss 归因分析里只有 16% 的未命中 token 来自新追加的尾部。README 给出的运维判据:健康会话的 prefix-cache 命中率应保持在 95–97%,压缩自身的代价 ≤2%;持续低于此值用 /acp-cache 做归因(GRAND LEDGER / FOLD ECONOMICS / LINE ITEMS,外加 MODEL SWITCHES 与 KEY SWITCHES 两个专章),常规嫌疑按序是上游 TTL 到期、换模型、bili bug。

web 会话页:缓存命中率折线图与逐段归因报告

在"缓存 token 计价约为新输入 1/10"的定价下,90–94% 的读占比近似把同等规模上下文的输入成本减半。还有一个常被问到的反方案被论文正面排除:把压缩委派给带外的低成本子 agent 行不行?结论是不行——compress 调用的 prompt 几乎全是缓存读(它读的历史就是稳定前缀),输出有界(约 2K token),带内压缩的边际有效成本已经接近地板,免费的异步压缩者最好打平,还要额外引入陈旧性与结果插位问题。自托管侧,有界上下文意味着常驻 KV-cache 内存按带宽而非窗口峰值缩放。

五、哪些场景适合,哪些场景慎用

适合。长期存活的 coding agent 会话,尤其是工具调用密集的重复型与阶段结构化工程任务;带 prefix cache 的 provider(省下的读占比直接折现金)。论文还量化了一个"马拉松现象":62% 的压缩量发生在 1.3% 的消息数超千的会话里——短会话基准结构上观察不到压缩真正发生作用的区间,如果你的会话普遍几十轮就结束,这套系统基本不触发,也就无所谓收益。

慎用(这些边界大多由项目自己声明,不是本文外推):

  • 逐字历史任务类:审计、合规取证、多约束并行重构(约束并集超过任何摘要能承载的)——论文明确不声称覆盖。恢复机制在被指示时有效,"但当前规模的模型不会自发去调用它"(受控实验中自发恢复采用率为零);
  • 小窗口(<64K):doctrine 是每次调用约 25% 的固定开销,此区间一次性 compaction 的原始 token 更便宜;
  • 把激进调优当默认:extreme 配置(floor 0.10、growth 0.02×窗口)只在重复型负载上有增益,阶段结构化负载上探针掉 5.9pp 且执行错误加倍——它是 workload 特化的配置,不是通用增强;
  • 对"成本最优"的期待要校准:重复型负载上确定性固定节律比默认配置便宜 37%。默认配置卖的是跨 workload 鲁棒性(阶段负载上它探针最好、标准差最小),不是每个 workload 的计费最优。

证据边界也要诚实:单用户观察性部署、无随机对照、受控臂跑在单一评估模型(qwen3.8-27b,temperature 0)、探针套件趋于饱和(85–95%)使质量持平受仪器灵敏度约束。这些限制论文在 §9 里逐条列明,并指向两个未完成的扩展:目标约 50K 总上下文的极压缩档,以及把 doctrine 蒸馏进模型权重(省去脚手架 prompt 本身的 token)。

结语

billion-context 值得被认真读一遍的原因不在"十亿 token"这个数字,而在于它把一个含糊的工程实践("快满了就总结一下")拆成了可度量的权衡:压缩成本是增量的函数而非历史长度的函数;质量下限由保留律保证(ρ₁ 常数、不复利衰减),上限由一套可以 diff、可以回归测试、改之前要先签 risk 的 KEEP/DROP 规范保证;可逆性落在 directBlockIds 这样的数据结构上,而不是落在宣传口径里。对同样在写上下文压缩逻辑的团队,仓库里真正值得抄的不是某个阈值,而是这份把"什么算损失、损失给谁、谁付代价"写进源码注释的工程态度。

登录后查看全文
billion-context