十亿级上下文不再是论文概念:billion-context 用 500+ 测试把工程底气摆上台面
十亿级上下文不再是论文概念:billion-context 用 500+ 测试把工程底气摆上台面
2023 年,微软 LongNet 用 10 亿 token 的实验数据把"超长上下文"变成了学术圈的谈资,但那本质上是一次演示。三年后的今天,"上下文工程"已经成了 AI Agent 生态里最热的赛道之一:社区里有人在做最高省 95% Token 的压缩层 headroom,有 21K Stars 的 Context Mode 把 Agent 大输出转进 SQLite 做 98% 上下文节流,字节也开源了给 Agent 装"自进化记忆"的 OpenViking。而 billion-context 做的事情和这些同路人不同——它不训练模型、不动注意力机制,而是一个夹在任意 Agent 与模型 API 之间的上下文压缩代理,口号直接写在 README 里:小窗口(100K 上下文足矣)、省 5 倍 token、月级超长单会话(数十亿 token)。
真正让它区别于"又一个 demo"的,是仓库里两份硬证据:一份是随仓库 MIT 开源的长篇预印本(4.5 个月、17.4 万次模型调用、18.76B 累计输入 token 的生产纵向研究),另一套是 800 多个测试文件、近 8000 个测试用例的工程化回归体系。本文基于仓库源码,拆解这套测试体系到底在守护什么、原生插件协议与统一存储架构如何支撑"可信"二字,以及工程化程度本身如何成为项目热度的放大器。
一、先看机制:压缩不是截断,是模型驱动的增量折叠
理解测试体系在测什么,得先理解被测对象。billion-context 的运行时形态是一个 npm 包(CLI 命令 bili),请求管线入口在 src/server.ts,压缩内核则是仓库内置的 kernel/(npm 名 acp-kernel,构建时由 tsup 内联进 dist/index.js,宿主侧对它的消费是 "acp-kernel": "file:./kernel"——提交即版本钉,不存在注册表漂移)。
它注入四个上下文管理工具进对话,由模型自己决定何时、压缩哪一段:
compress——把一段消息折叠成详细摘要;decompress——需要精确细节时按需还原被折叠区间;search_context——在压缩摘要与可见消息上做关键词检索;acp_status——上下文用量总览与可压缩区间。
折叠后模型窗口内的布局是这样的:
关键设计点在于:摘要是增量、可逆、前缀缓存友好的——被折叠的历史以小区间写入,decompress 按需展开,而稳定前缀保持字节不变,上游 prefix cache 不被击穿。README 给出的健康基线是:正常会话前缀缓存命中率 95–97%,压缩本身的成本 ≤2%。对比宿主自带的 summarizer(一次性全量重写、破坏缓存、不可逆),这套机制才是"十亿级"能落地的前提——否则成本与缓存命中率先崩。
二、从研究 demo 到可贡献工程:500+ 测试意味着什么
社区里有篇 10 月中旬发布的开发者指南以"500+ 测试体系"为卖点介绍本项目。这个数字其实偏保守——以 2026-10-16 的仓库快照实测统计,四层测试分布如下:
| 测试层 | 位置 | 测试文件数 | 用例数(test() 调用) |
运行方式 |
|---|---|---|---|---|
| 顶层套件 | tests/ | 691 | 6,270 | npm test(node --import tsx --test) |
| 压缩内核单元 | kernel/tests/ | 96 | 1,528(含 pi-subagents) | npm --prefix kernel test |
| pi 子代理组件 | pi-subagents/tests/ | 15 | 同上 | npm --prefix pi-subagents test |
| 真实客户端 E2E | tests/e2e/ | 17 | 99 | 各自带 skip 门控环境变量 |
合计约 819 个测试文件、近 7,900 个测试用例。这些数字不是摆设,它们的组织方式才是重点。
第一,CI 调度本身就是被测试的契约。 主 CI 不跑扁平的 npm test glob,而是执行 scripts/run-ci-tests.mjs:显式 --test-concurrency=4(每核一槽),并且脚本自带自检——任何新增的、会派生进程的顶层测试文件若未注册进 LIVE_FILES 列表,任务直接失败。也就是说"你的新 E2E 套件是否经过并发假设评审"被机器强制了。自 #3143 起,test job 还按确定性 LPT 分箱切成 3 片(CI_TEST_SHARD="i/3"),分片并集等于全集且互不相交——测试套件已膨胀到 ~656 文件 / ~190k LOC,单跑在 Windows 上要约 20 分钟墙钟,分片后约 7 分钟,且零覆盖损失。
第二,行为常数被 golden 钉死,而不是被断言散养。 tests/golden/wire-contract/kernel.json 不仅钉工具 schema,还钉宿主侧默默依赖的行为面:defaultConfig(100_000)(含 flat-50K nudge 常数)、四条关键 prompt 规则、工具名表、wire 标记。AGENTS.md 的 Kernel Boundary 一节写明:重新生成 golden 必须在 PR 里给出理由,账本永不缩小(#1304)。另一条纪律是 wire-constraint ledger:每一个在生产环境发现的 upstream 拒绝约束(例如 Anthropic 拒绝工具 schema 顶层 oneOf/allOf/anyOf),都会以 WIRE_RULES 的永久条目形式进入 tests/wire-contract-fakes.ts 与配套 fake upstream 的门禁,且必须在修复 PR 内完成——上游约束变成回归资产,而非一次性知识。
第三,E2E 分"真客户端"与"hermetic 沙盒"两类,各归其门。 tests/e2e/e2e-codex.test.ts 驱动真实的 codex CLI 穿过 bili 代理、对 Responses 兼容上游断言完整生命周期(warmup → 负载增长 → ACP 压缩 → 纯度校验 → 原生 compact 拦截),默认由 ACP_TEST_E2E=1 门控跳过——这是唯一覆盖真实客户端行为(UA、wire 怪癖、重试循环)的层。而 tests/e2e/e2e-registry.test.ts 自带 verdaccio 实例(随机 loopback 端口、隔离存储),端到端跑真实的自更新链:dist-tag 解析 → tarball 下载 → sha512 校验 → 分阶段解包 → 原地安装 → 磁盘翻转,零外部网络、零 token;tests/e2e/e2e-image-billing.test.ts 则在纯 Node 中确定性合成真实结构图片语料(4.7MB 的 4032x3024 照片、EXIF 旋转、截断与纯垃圾 blob),驱动真实计费管线。
第四,"本地全量测试不算数"被写成了规则。 AGENTS.md §7.2 明确:全量回归的权威判定是远端 CI 的 test 分道,本地 npm test 全量只是环境噪音(live 探测撞防火墙端口、claude-native 绑定 18787 撞本地实例、跨文件干扰……);本地只跑目标文件,全量绿看 CI。配套纪律还包括测试确定性——不许假设端口段空闲(Windows 临时段 49152–65535 与固定选取碰撞,#360),一律 listen(0) 要端口、每文件独立 XDG home、无机器级全局状态。
这套体系守护的终局目标,是论文里那两条马拉松曲线:
论文口径(paper/model-driven-incremental-hierarchical-compression-training-free-multi-generational-context-management-for-long-lived-coding-agents.md):4.5 个月、三台宿主、174,327 次模型调用、18.76B 累计输入 token(全宿主约 24.7B),在 204,800-token 窗口模型上零次窗口违规,最长单会话 12,049 次调用。"十亿级"从论文数字变成可以复现、可以回归、可以贡献的工程事实——这就是"500+ 测试"真正想表达的东西:它不是虚荣指标,而是让外部贡献者的第一行 diff 有地方落脚。
三、插件协议与统一存储:架构先行带来的可信度
测试体系回答"改了不会坏",架构先行则回答"为什么值得信"。billion-context 在这两处都有源码级的硬约束。
压缩分两种模式,改 wire 必须两边推理。 AGENTS.md 的关键设计决策 #7 用 CRITICAL 标出:plugin 模式(x-bili-plugin 头 / 已注册 agent,如 bili pi)下,agent 自己拥有压缩——本地执行 compress,wire 上的摘要载体是 tool call;proxy 模式下,代理服务端执行 compress,载体是 acp_summary 消息(经 systemToUser 改写为 user 角色,保 head system 字节稳定)。模式按请求判定、按会话 sticky。这条规则的直接后果:任何触及消息重建、工具注入、preflight 的改动,"在一种模式下正确"可能在另一种模式下坏掉(#377 就只在 proxy 模式下暴露)——所以评审纪律要求两种模式都推演。
原生插件协议 v2 是一条"薄管道"。 PLUGIN.md 的契约设计值得细读:插件(agent 内部)只负责工具注册(原生 UI、权限、审计)、agent 自身的多轮 tool loop、以及上报真实 conversation id 作为会话身份;压缩引擎、折叠状态、ref 标签、nudge 全部留在代理侧。最关键的工程决策是:工具 schema 与压缩哲学 prompt 永远来自运行中的代理——插件启动时 GET /__bili/plugin/manifest 拉取清单,此后每次模型请求带 x-bili-plugin 与 x-bili-plugin-conversation 头声明身份,工具执行经 POST /__bili/plugin/tool 转发、result 逐字回填。两端不可能漂移,因为根本没有第二份 schema 副本。会话身份以真实 conversation id 键控这件事,恰恰是前缀缓存经济学的命门:
统一存储:append-only 事实 + 经校验投影。 超长会话的命门是持久化——重启丢折叠状态,客户端重发的完整历史就无处折叠,会话永久挂死。src/storage/schema.ts 的注释把设计原则写得很直白:messages/content/blocks 是 append-only 事实(UPDATE 即 bug);压缩账本(blocks)是"crown jewel",每次状态变更一个事务;视图从不作为内容存储,每个标量列都是从 verbatim 序列化事实中抽取的投影,dry-run verifier 断言"投影 == 事实",列不可能在读取仍走事实时悄悄漂移。落地机制是 shadow 双写 + 明确的回滚契约:统一 SQLite 索引与 legacy JSON 信封并存读写(node:sqlite 优先、宿主 better-sqlite3 次之),unset 旋钮即完整回滚,Phase 3 才允许 storage.jsonWriter: "off" 让索引成为唯一持久副本。src/persist.ts 侧则是单文件原子写(temp + rename)、内存池按 MAX_SESSIONS 有界淘汰且淘汰前必先落盘、BILI_PERSIST_ZSTD 与 BILI_ENCRYPTION_KEY(AES-256-GCM)两个独立编码旋钮——新旋钮一律经 src/knobs.ts 的 env > 配置文件 > 默认值三级解析,直接读 process.env 是 AGENTS.md 的硬规则。字节级确定性由 tests/golden-canonical.ts 与 tests/golden/ 下的 storage-corpus、storage-render 语料锁定。
这套账本的可观测出口是 Web 会话页——用量统计、缓存经济学归因、逐次折叠明细,是验证压缩行为最直观的入口:
四、工程化程度如何反哺项目热度
billion-context 的热度曲线里,社区文章是一个信号源:CSDN 上以"500+ 测试体系、原生插件协议与统一存储架构"为主题的贡献者指南 10 月中旬发布;而掘金上同期流行的 headroom(95% token 节省)、Context Mode、OpenViking 等文章共同勾勒出"上下文工程"赛道的关注面。值得注意的是,这些文章的选题逻辑高度一致——读者想了解的不再只是"能省多少 token",而是"这东西我敢不敢押生产、能不能参与维护"。billion-context 给出的回答密度在同类里是罕见的。
第一,规范文档本身是产品。 AGENTS.md 被声明为"最高优先级规范,所有开发者(包括 AI Agents)必须遵守",内容细到:版本优先分诊(先看报告者跑的是哪个 tag,再分析代码——#2847 用一整天对着 master 分析了一个 v0.1.192 才有的机制缺失)、"小问题直接修"(评审中发现的小缺陷当场修,不挂账)、wire 保真清单(tool-call arguments 是用户意图,字节级转发,任何"清理"都会静默损坏被执行的数据,#1039)、以及 auto-merge 的 8 条硬门槛。§7.5 甚至给了复盘数据:326 个已合并 PR 中约 7% 需要二轮人工评审,两大驱动因素是过期 base 与"只修了症状路径"。把返工原因量化成评审清单,这本身就是可传播的工程资产。
第二,每个迭代留痕。 devlog/ 下 40 个 YYYY-MM-DD_short-title 目录,每个强制要求实现前写 REQ.md(问题陈述、验收标准)、实现中写 WORKLOG.md(提交、关键文件、测试结果、教训),架构级变更加 DESIGN.md——git history 之外的结构化上下文,让"这个设计为什么这样"可以被追问。
第三,发布流程全 CI 化且自带安全阀。 版本只存在于 *_release-v* 分支的独立 release v{VERSION} 提交;合并发布 PR 后 CI 构建、测试、npm 发布、打 tag、建 GitHub Release,任何人不得手动 npm publish。更少见的是两条自愈协议:改动 src/update.ts(自更新器)之前必须先发一个 no-op 验证版本,证明现有升级链路端到端健康——"坏掉的更新器会砖死每一次未来升级";以及 advisory 回滚契约(tests/e2e/e2e-advisory-rollback.test.ts 端到端断言强制回滚到旧目标、重启横幅、无 ping-pong)。当前节奏:宿主 v0.1.197、内核 acp-kernel 0.0.125、billion-context-pi-subagents 0.2.0,后两者独立版本、独立发版通道(*_release-kernel-v* 分支命名空间与宿主互斥,永不误触发)。
第四,内核边界定义了"核心"的边界。 kernel/ 自 #2092 起整体搬进仓库(vendored,提交即 pin),但规则比多数 monorepo 更严:触碰 kernel/** 的 PR 必须在正文声明 kernel-change: <reason>、实现前先经 owner 批准、提交用 kernel: 前缀、kernel/package.json 版本联动由 CI 强制(改了不 bump 挂、bump 没改也挂)、且永不自动合并——与 src/update.ts、安全面同级的人类评审门槛。行为常数 golden 钉死、两层测试(内核自身套件 + bili 套件/e2e)双绿才算完成。
把这些放在一起看,billion-context 的传播逻辑其实很朴素:长会话压缩这个赛道的真正护城河不是算法——分层折叠、按需还原、prefix-cache 友好,思路都是社区可见的公开知识——而是那套"信任栈":近 8000 个测试用例构成的回归面、wire-contract 永不缩水的约束账本、schema 单源不漂移的插件协议、append-only 事实加可回滚双写的统一存储、以及把 AI Agent 纳入契约管理的开发规范。热度反哺也发生在这里:贡献者指南类文章之所以愿意以"500+ 测试"为题,是因为读者真正在意的门槛——敢不敢提交第一个 PR、改坏会不会被回归网接住——在这个仓库里都有明确的、可验证的答案。十亿级上下文要成为日常,缺的从来不是更大的窗口,而是这样一套让超长会话可被信任、可被维护的工程底座。



