长任务的上下文管理:ARTEX冷节点图压缩算法完整解析
长任务的上下文管理:ARTEX冷节点图压缩算法完整解析
ARTEX 是一款 AI 自主渗透测试系统,长任务下 Agent 的上下文管理一直是核心难题:任务一跑几个小时,探索图里的意图、事实越积越多,每轮规划都要把态势喂给大模型,Token 成本与延迟会快速失控。ARTEX 给出的答案是冷节点图压缩(cold-digest):把"老且长期不活跃"的探索节点折叠成 digest 摘要节点,存储无损、只压呈现、折叠可逆。本文完整解析这套算法的冷热判定、防抖、分组与压缩执行机制。
一、长任务 Agent 为什么需要上下文压缩
ARTEX 的任务执行围绕一张探索图展开:
- 节点:意图(intent)、事实(fact)、漏洞(finding)、目标(goal)等;
- 边:血缘关系(
derived_from派生、yields产出),From → To即父→子。
Planner(规划 Agent)每轮唤醒都会调用 graph_overview 拉取全图态势。任务越久,结束掉的意图和事实越多——这些内容"探明了,但短期内用不上了",却仍占着上下文。硬截断会丢信息,全量保留又烧 Token,ARTEX 选择了中间路线:
存储无损、只压呈现、折叠可逆:原始节点永久保留在数据库里,只是不再平铺进概览,而是折叠成一个带
covers边的 digest 节点;需要细节时按 id 完整还原(CHANGELOG.md 中的功能定义)。
二、冷热判定:逆向可达 + 任一活分支即热
算法第一步是回答"哪些节点可以放心压"。规则很直觉(见 agent/coldgraph.go 的 hotSet):
| 条件 | 判定 |
|---|---|
| 是"活"意图(open / running / paused) | 🔥 热 |
| 能沿血缘下游可达某个活意图(是活意图的祖先) | 🔥 热 |
| 是活意图的直接子节点(刚产出的新事实) | 🔥 热 |
| 其余的 intent / fact | ❄️ 冷候选 |
一句话总结:"任一活分支,让整条链保持热"。finding、goal、hint、begin、digest 这几类节点永远不参与折叠(agent/coldgraph.go),只有 intent 和 fact 有折叠资格。
冷标记与 R 轮防抖
刚变冷的节点不立刻压缩——它可能是"刚探完还没下结论"。ARTEX 给每个冷节点打一个 cold_since_round 时间戳(记录它第一次变冷的轮次,永不重复打戳;一旦复活立即清除,见 agent/coldgraph.go),只有连续冷 ≥ R=6 个规划轮的节点才具备折叠资格。这个防抖让刚探完的方向多留几轮在热区,避免误压。
三、分组算法:连通分量 + 共享父节点救援
单独压一个孤立节点收益太低,ARTEX 用**两趟并查集(union-find)**把冷节点分组成块(agent/coldgraph.go 的 group):
规则①:真实血缘相连就合并 冷节点之间只要存在真实的探索边(A 产出/派生 B),就连成一块。这样压缩时能把"哪个事实催生哪个意图"的因果链完整喂给 LLM。
规则②:共享父节点的"孤儿"救援
实战中最常见的形态是:一个热点枢纽意图下挂着大量"探完即死"的扁平叶子——它们之间没有边,规则①会把它们全部漏成单例。规则②把所有残留单例且共享同一个直接父节点的冷叶子合并成一块。父节点本身只作为**上下文锚(anchor)**喂给压缩器,绝不成员、绝不建 covers 边("父作锚不作成员")。
尺寸门槛 K=2:小于 2 个成员的块直接丢弃——真正的单例保持不折叠。这套逻辑在 agent/coldgraph_test.go 的 TestGrouping_SharedParentRescuesFlatFanout 里有完整验证:枢纽 50 是热锚点,死叶子 51~54 被归为一块。
四、压缩执行:minor / major 双模式 + 签名缓存
agent/compaction.go 中的 Compactor 把纯图算法接到存储与 LLM 上,分三种模式运行:
| 模式 | 触发 | 做什么 | 是否调 LLM |
|---|---|---|---|
| maintain | 每个规划轮(同步、毫秒级) | 轮次 +1、重算冷热、打/清冷标记 | ❌ |
| minor | 未覆盖冷节点 ≥ N=20 | 只折叠新增冷块(分层追加) | ✅ |
| major | 活跃 digest ≥ M=8 | 回源重压:对全部合格冷节点重算分组,合并碎片 | ✅(能省则省) |
几个关键工程细节:
- 绝不压热路径:maintain 只是几个查询,可同步做;真正的 LLM 压缩在独立 goroutine 后台跑,且同一任务同时只跑一次压缩、两次压缩间隔至少 60s 冷却、单次硬上限 5 分钟(agent/compaction.go 的
tryStart)。 - 签名缓存省 Token(§5.3):每块内容生成 SHA-256 签名(成员 id + 各自
content_version+ 锚点版本,见 agent/coldgraph.go)。major 重压时,签名没变的块直接复用旧 digest 正文,跳过 LLM 调用;签名过时的旧 digest 原子退役(superseded),保证"一个成员只被一个 digest 覆盖"。 - 提交前活跃度复核:LLM 生成 body 期间图可能又变了,写入前重读一次,把期间复活的成员从
covers集合里剔除;若块因此缩到 K 以下则整体放弃。digest 永远不会覆盖一个已经热起来的节点。 - 压缩提示词讲"综合"而非"罗列"(agent/compaction.go):要求顺着血缘边把因果串起来、保留区分度、区分
observed / inferred证据强度、每条结论标注来源节点 id(如"…(#12,#28)"),长度自适应但显著短于输入总和。调用时禁用 thinking、上限 1500 Token,与 Agent 同模型。
五、呈现与还原:概览里的"冷区"
折叠后的节点如何回到 Agent 眼前?看 agent/tools_digest.go 与 agent/tools.go:
graph_overview输出cold_digests字段:按"最新成员新鲜度"降序取前 15 个 digest,每条直接带{id, body, member_count}——planner 读 body 就掌握了"这一片探明了什么";被截断的更旧 digest 只给裸 id(cold_digests_more)。expand_digest(id)是冷区的唯一出口:返回 digest 的成员紧凑列表(id/summary/state/confidence);再要单节点完整细节则node_detail(member_id)。关联/继承任务的 digest 也支持跨任务只读还原。- 渲染时复活检查:某成员若已被折叠但又复活(比如新意图从它派生),本轮自动从折叠区移回平铺列表——折叠只压"呈现",冷热状态变化即时反映。
- 这些还原工具只给 planner 与 main agent,不给 worker(worker 只负责单条意图执行)。
持久化层全部落在 db/digest.go:digest 节点 + covers 边在同一事务写入,CoveredMembers 以 covers 边为唯一事实来源;相关表结构见 db/schema.sql。
六、关键参数速查
| 参数 | 默认值 | 含义 |
|---|---|---|
R |
6 | 防抖:连续冷 ≥6 轮才合格 |
K |
2 | 折叠块最小尺寸 |
N |
20 | 未覆盖冷节点达到 20 触发 minor |
M |
8 | 活跃 digest 达到 8 触发 major 合并 |
| cooldown | 60s | 同一任务两次压缩最小间隔 |
| maxDur | 5min | 单次后台压缩硬上限 |
七、源码导航
想动手验证这套算法,建议按这个顺序读:
- 纯图算法(零 DB / LLM 依赖,可直接单测):agent/coldgraph.go
- 行为验证用例(快照回放:活链保持热、全链折叠、防抖、共享父救援):agent/coldgraph_test.go
- Compactor 三模式调度与 LLM 压缩:agent/compaction.go
- 规划轮接入点(
OnPlannerRound每轮被调用):agent/planner.go - 概览折叠与还原工具:agent/tools_digest.go
- 存储层:db/digest.go、db/schema.sql
小结
ARTEX 的冷节点图压缩用逆向可达判热 + R 轮防抖 + 连通分量分组 + 签名缓存四个机制,解决了长任务 Agent 的上下文膨胀问题:热区信息零损失、冷区压缩为可读摘要、全程可逆还原,且 LLM 压缩永远跑在后台、绝不影响规划主链路。对于任何要做"长时程 Agent + 黑板式状态图"的系统,这套"只压呈现、不压存储"的思路都值得借鉴。

