长对话不爆上下文:agent-framework-go 的 Compaction 上下文压缩管线完整指南

原创2026-11-05 16:10:391,637 阅读

长对话不爆上下文:agent-framework-go 的 Compaction 上下文压缩管线完整指南

做 AI 应用时,你一定会遇到这个难题:对话越聊越长,历史消息不断累积,最终超出模型的上下文窗口,要么报错、要么回答质量骤降。agent-framework-go(Microsoft Agent Framework for Go 的开源实现)内置了一个专门的 compaction 包,提供消息分组、触发器、五种压缩策略和可组合的压缩管线(Compaction Pipeline),让长对话始终"装得进"模型上下文窗口。本文带你从原理到用法,完整揭秘这套上下文压缩机制是怎么工作的。

agent-framework-go 上下文压缩管线概览:Microsoft Agent Framework 横幅

一、为什么长对话会"爆"上下文?

每次调用大模型时,整个对话历史都会作为输入发出去。而每个模型的上下文窗口(Context Window)和最大输出 token 数都是有限的:

  • 输入预算 = 上下文窗口 − 最大输出 token,才是真正留给系统提示、工具定义和历史消息的空间;
  • 一旦超预算,要么直接报 context length exceeded 之类的错误,要么模型"忘掉"早期内容。

常见的应对手段是"手动截断",但粗暴截断会破坏信息完整性。agent-framework-go 的思路是:把压缩做成一组可插拔、可组合的策略,核心代码位于 agent/compaction/ 目录,包注释(doc.go)一句话概括了它的设计:

将对话历史缩减到适配模型上下文窗口,提供历史/上下文 Provider 与可组合策略——滑动窗口、截断、摘要、工具结果驱逐、上下文窗口尺寸化——由基于消息索引评估的触发器选择。

二、基石:MessageIndex 与消息分组

压缩的前提是"看懂"对话结构。agent-framework-go 不会把历史当成一锅平铺消息,而是先构建一个 MessageIndex(index.go),把消息序列划分为一个个消息组(MessageGroup)(group.go):

组类型 含义
GroupKindSystem 系统消息,压缩时永远保留
GroupKindUser 一条用户消息(一轮对话的起点)
GroupKindAssistantText 一条不含工具调用的助手文本回复
GroupKindToolCall 助手的工具调用 + 对应的工具返回结果,作为原子单元绑定
GroupKindSummary 压缩过程生成的摘要消息

这个分组设计有两个关键价值:

  1. 原子性:工具调用和它的结果总是一起保留或一起删除,永远不会出现"调用了工具却丢了结果"这种上下文断裂;
  2. 软删除:组被排除时只是打上 IsExcluded 标记并记录 ExcludeReason,原始历史仍然完整可查,方便诊断、存储或后续恢复。

同时,索引会为每个组统计 token 数(可注入自定义 TokenCounter,缺省按 UTF-8 字节数 ÷ 4 估算),并提供"全部组"与"未排除组"两套指标(token 数、消息数、轮次数、组数),这正是触发器判断的依据。

三、Trigger 与 Target:什么时候压、压到什么时候停

每个策略都遵循统一的"Trigger + Target"双闸门模型(trigger.go):

  • Trigger(触发器):谓词函数,决定"是否需要启动压缩"。内置了丰富的判定器:
    • TokensExceed(n) / TokensBelow(n):按 token 数
    • MessagesExceed(n):按消息数
    • TurnsExceed(n):按用户轮次数
    • GroupsExceed(n):按组数
    • HasToolCalls():历史中存在工具调用
    • 还能用 All(...)、Any(...) 组合出"且/或"逻辑
  • Target(目标):每排除一个组就重新评估一次,决定"压到什么程度算够"。缺省情况下,压缩会持续到 Trigger 不再触发为止——即增量压缩,压够就停,而不是压到极致。

这种设计让每个策略都"按需工作":对话还短的时候就什么都不做,一旦越过阈值才开始动手。

四、五种内置压缩策略,从温和到激进

1. ToolResultStrategy:工具结果折叠(最温和)

工具调用的结果往往是大头(一大段 JSON、文件内容)。该策略(toolresult.go)只针对保护窗口之外的旧工具调用组,把每组折叠成一段简洁的 YAML 式摘要,例如"工具名 + 其结果列表",插入为 GroupKindSummary 组。用户消息和普通助手回复完全不受影响。默认保护最近 16 个组(MinimumPreservedGroups)。

2. SummarizationStrategy:LLM 摘要(智能压缩)

当需要"压缩但保留语义"时,summarization.go 提供 LLM 摘要方案:把保护窗口之外的旧消息连同系统摘要提示词一起交给可自定义的 Summarizer(可以用一个小而便宜的模型),生成一段浓缩消息插回原位。内置的默认提示词要求保留关键事实、用户偏好、工具调用结论,并砍掉客套话。它还有完善的失败回滚:摘要失败会自动恢复被排除的组,不产生任何破坏。

3. SlidingWindowStrategy:滑动窗口(按轮次丢弃)

slidingwindow.go 按用户轮次边界整轮丢弃最旧的消息,默认至少保留最近 1 轮。适合"只需要记住最近几轮"的会话式场景,行为完全可预测。

4. TruncationStrategy:直接截断(最激进)

truncation.go 从最旧的非系统组开始逐个排除,直到达标为止,默认保底保留最近 32 个组。它是最后的兜底手段——信息损失最大,但确定性最强。

5. ContextWindowStrategy:按模型窗口自动计算阈值(推荐)

contextwindow.go 是一个"自动化管线":你只需填入模型的最大上下文 token 和最大输出 token,它就自动算出输入预算,并构建两段式管线:

  1. token 超过预算的 50%(可配)→ 触发工具结果折叠;
  2. token 超过预算的 80%(可配)→ 触发截断。

对大多数场景,这一种策略就够用了。

五、PipelineStrategy:级联压缩管线的正确姿势

单独的策略已经够用,而 PipelineStrategy(pipeline.go)让你把它们按从温和到激进的顺序串成一条管线:每个策略依次作用于同一个索引,前一个策略的输出就是后一个的输入,直到触发器不再满足。

官方示例 step18_compaction_pipeline/main.go 展示了一条教科书级的四级管线:

顺序 策略 触发条件 作用
① ToolResultStrategy 消息数 > 7 温和:折叠旧工具调用
② SummarizationStrategy token 数 > 1280 中度:LLM 摘要旧对话
③ SlidingWindowStrategy 轮次数 > 4 较激进:只留最近 4 轮
④ TruncationStrategy token 数 > 32768 兜底:紧急截断到预算内

这条管线的精髓是分级响应:绝大多数轮次只跑第①步;真的快超窗时才逐级"升级",把信息损失降到最低。

六、接入 Agent:两种方式挂上线

策略设计好了,怎么让它自动生效?compaction 包提供了两个 Provider(provider.go、historyprovider.go):

  • compaction.NewContextProvider:作为 agent.Config 的 ContextProviders 之一,在每次 agent 运行前对消息应用压缩;有 session 时还会把分组状态持久化到 session,实现增量更新索引而非每次全量重建。这是最常用的接入方式(见上面 step18 示例的接入位置)。
  • compaction.NewHistoryProvider:作为一个会存历史的 Provider,可配置在取历史前(BeforeMessagesRetrieval)或新消息存入后(AfterMessageAdded)自动压缩,适合希望压缩结果"落库"的场景。

七、策略选择速查表

场景 推荐策略
大多数生产环境,不想手动调参 ContextWindowStrategy
工具调用多、结果体积大 ToolResultStrategy(单独或作为管线第一步)
长程任务,需保留早期语义 SummarizationStrategy
短记忆聊天,只关心最近几轮 SlidingWindowStrategy
必须绝对不超窗 TruncationStrategy 兜底
组合出最优体验 PipelineStrategy 串联以上策略

八、总结

agent-framework-go 的 Compaction 模块用三块积木解决了长对话上下文爆炸问题:

  1. MessageIndex 把消息按语义分组、软删除,保证原子性与可观测性;
  2. Trigger + Target 让压缩"按需启动、压够即停";
  3. 五种策略 + PipelineStrategy 提供从"折叠工具结果"到"硬截断"的完整力度谱系,并可借助 Provider 无缝挂进 agent 生命周期。

想动手试试?克隆仓库 git clone https://gitcode.com/gh_mirrors/ag/agent-framework-go,然后直接运行 step18_compaction_pipeline 示例,观察多轮对话中消息数量被逐级"瘦身"的全过程,是对理解这套机制最好的实践。

登录后查看全文
agent-framework-go