长任务的上下文管理:ARTEX冷节点图压缩算法完整解析

原创2026-10-23 13:00:442,560 阅读
文章标签:网络安全渗透测试应用安全人工智能AI Agent自主智能体工具调用后端前端流量分析

长任务的上下文管理:ARTEX冷节点图压缩算法完整解析

ARTEX 是一款 AI 自主渗透测试系统,长任务下 Agent 的上下文管理一直是核心难题:任务一跑几个小时,探索图里的意图、事实越积越多,每轮规划都要把态势喂给大模型,Token 成本与延迟会快速失控。ARTEX 给出的答案是冷节点图压缩(cold-digest):把"老且长期不活跃"的探索节点折叠成 digest 摘要节点,存储无损、只压呈现、折叠可逆。本文完整解析这套算法的冷热判定、防抖、分组与压缩执行机制。

ARTEX 探索链路图:意图、事实、漏洞节点与血缘边构成探索图,冷节点压缩正是作用于此

一、长任务 Agent 为什么需要上下文压缩

ARTEX 的任务执行围绕一张探索图展开:

  • 节点:意图(intent)、事实(fact)、漏洞(finding)、目标(goal)等;
  • 边:血缘关系(derived_from 派生、yields 产出),From → To 即父→子。

Planner(规划 Agent)每轮唤醒都会调用 graph_overview 拉取全图态势。任务越久,结束掉的意图和事实越多——这些内容"探明了,但短期内用不上了",却仍占着上下文。硬截断会丢信息,全量保留又烧 Token,ARTEX 选择了中间路线:

存储无损、只压呈现、折叠可逆:原始节点永久保留在数据库里,只是不再平铺进概览,而是折叠成一个带 covers 边的 digest 节点;需要细节时按 id 完整还原(CHANGELOG.md 中的功能定义)。

二、冷热判定:逆向可达 + 任一活分支即热

算法第一步是回答"哪些节点可以放心压"。规则很直觉(见 agent/coldgraph.go 的 hotSet):

条件 判定
是"活"意图(open / running / paused) 🔥 热
能沿血缘下游可达某个活意图(是活意图的祖先) 🔥 热
是活意图的直接子节点(刚产出的新事实) 🔥 热
其余的 intent / fact ❄️ 冷候选

一句话总结:"任一活分支,让整条链保持热"。finding、goal、hint、begin、digest 这几类节点永远不参与折叠(agent/coldgraph.go),只有 intent 和 fact 有折叠资格。

冷标记与 R 轮防抖

刚变冷的节点不立刻压缩——它可能是"刚探完还没下结论"。ARTEX 给每个冷节点打一个 cold_since_round 时间戳(记录它第一次变冷的轮次,永不重复打戳;一旦复活立即清除,见 agent/coldgraph.go),只有连续冷 ≥ R=6 个规划轮的节点才具备折叠资格。这个防抖让刚探完的方向多留几轮在热区,避免误压。

三、分组算法:连通分量 + 共享父节点救援

单独压一个孤立节点收益太低,ARTEX 用**两趟并查集(union-find)**把冷节点分组成块(agent/coldgraph.go 的 group):

规则①:真实血缘相连就合并 冷节点之间只要存在真实的探索边(A 产出/派生 B),就连成一块。这样压缩时能把"哪个事实催生哪个意图"的因果链完整喂给 LLM。

规则②:共享父节点的"孤儿"救援 实战中最常见的形态是:一个热点枢纽意图下挂着大量"探完即死"的扁平叶子——它们之间没有边,规则①会把它们全部漏成单例。规则②把所有残留单例且共享同一个直接父节点的冷叶子合并成一块。父节点本身只作为**上下文锚(anchor)**喂给压缩器,绝不成员、绝不建 covers 边("父作锚不作成员")。

尺寸门槛 K=2:小于 2 个成员的块直接丢弃——真正的单例保持不折叠。这套逻辑在 agent/coldgraph_test.go 的 TestGrouping_SharedParentRescuesFlatFanout 里有完整验证:枢纽 50 是热锚点,死叶子 51~54 被归为一块。

四、压缩执行:minor / major 双模式 + 签名缓存

agent/compaction.go 中的 Compactor 把纯图算法接到存储与 LLM 上,分三种模式运行:

模式 触发 做什么 是否调 LLM
maintain 每个规划轮(同步、毫秒级) 轮次 +1、重算冷热、打/清冷标记 ❌
minor 未覆盖冷节点 ≥ N=20 只折叠新增冷块(分层追加) ✅
major 活跃 digest ≥ M=8 回源重压:对全部合格冷节点重算分组,合并碎片 ✅(能省则省)

几个关键工程细节:

  1. 绝不压热路径:maintain 只是几个查询,可同步做;真正的 LLM 压缩在独立 goroutine 后台跑,且同一任务同时只跑一次压缩、两次压缩间隔至少 60s 冷却、单次硬上限 5 分钟(agent/compaction.go 的 tryStart)。
  2. 签名缓存省 Token(§5.3):每块内容生成 SHA-256 签名(成员 id + 各自 content_version + 锚点版本,见 agent/coldgraph.go)。major 重压时,签名没变的块直接复用旧 digest 正文,跳过 LLM 调用;签名过时的旧 digest 原子退役(superseded),保证"一个成员只被一个 digest 覆盖"。
  3. 提交前活跃度复核:LLM 生成 body 期间图可能又变了,写入前重读一次,把期间复活的成员从 covers 集合里剔除;若块因此缩到 K 以下则整体放弃。digest 永远不会覆盖一个已经热起来的节点。
  4. 压缩提示词讲"综合"而非"罗列"(agent/compaction.go):要求顺着血缘边把因果串起来、保留区分度、区分 observed / inferred 证据强度、每条结论标注来源节点 id(如"…(#12,#28)"),长度自适应但显著短于输入总和。调用时禁用 thinking、上限 1500 Token,与 Agent 同模型。

ARTEX 会话列表与主 Agent 编排会话界面,展示任务统计的 Token 消耗与各个 Worker 会话

五、呈现与还原:概览里的"冷区"

折叠后的节点如何回到 Agent 眼前?看 agent/tools_digest.go 与 agent/tools.go:

  • graph_overview 输出 cold_digests 字段:按"最新成员新鲜度"降序取前 15 个 digest,每条直接带 {id, body, member_count}——planner 读 body 就掌握了"这一片探明了什么";被截断的更旧 digest 只给裸 id(cold_digests_more)。
  • expand_digest(id) 是冷区的唯一出口:返回 digest 的成员紧凑列表(id/summary/state/confidence);再要单节点完整细节则 node_detail(member_id)。关联/继承任务的 digest 也支持跨任务只读还原。
  • 渲染时复活检查:某成员若已被折叠但又复活(比如新意图从它派生),本轮自动从折叠区移回平铺列表——折叠只压"呈现",冷热状态变化即时反映。
  • 这些还原工具只给 planner 与 main agent,不给 worker(worker 只负责单条意图执行)。

持久化层全部落在 db/digest.go:digest 节点 + covers 边在同一事务写入,CoveredMembers 以 covers 边为唯一事实来源;相关表结构见 db/schema.sql。

六、关键参数速查

参数 默认值 含义
R 6 防抖:连续冷 ≥6 轮才合格
K 2 折叠块最小尺寸
N 20 未覆盖冷节点达到 20 触发 minor
M 8 活跃 digest 达到 8 触发 major 合并
cooldown 60s 同一任务两次压缩最小间隔
maxDur 5min 单次后台压缩硬上限

七、源码导航

想动手验证这套算法,建议按这个顺序读:

  1. 纯图算法(零 DB / LLM 依赖,可直接单测):agent/coldgraph.go
  2. 行为验证用例(快照回放:活链保持热、全链折叠、防抖、共享父救援):agent/coldgraph_test.go
  3. Compactor 三模式调度与 LLM 压缩:agent/compaction.go
  4. 规划轮接入点(OnPlannerRound 每轮被调用):agent/planner.go
  5. 概览折叠与还原工具:agent/tools_digest.go
  6. 存储层:db/digest.go、db/schema.sql

小结

ARTEX 的冷节点图压缩用逆向可达判热 + R 轮防抖 + 连通分量分组 + 签名缓存四个机制,解决了长任务 Agent 的上下文膨胀问题:热区信息零损失、冷区压缩为可读摘要、全程可逆还原,且 LLM 压缩永远跑在后台、绝不影响规划主链路。对于任何要做"长时程 Agent + 黑板式状态图"的系统,这套"只压呈现、不压存储"的思路都值得借鉴。

登录后查看全文
ARTEX