长对话不爆上下文:agent-framework-go 的 Compaction 上下文压缩管线完整指南
长对话不爆上下文:agent-framework-go 的 Compaction 上下文压缩管线完整指南
做 AI 应用时,你一定会遇到这个难题:对话越聊越长,历史消息不断累积,最终超出模型的上下文窗口,要么报错、要么回答质量骤降。agent-framework-go(Microsoft Agent Framework for Go 的开源实现)内置了一个专门的 compaction 包,提供消息分组、触发器、五种压缩策略和可组合的压缩管线(Compaction Pipeline),让长对话始终"装得进"模型上下文窗口。本文带你从原理到用法,完整揭秘这套上下文压缩机制是怎么工作的。
一、为什么长对话会"爆"上下文?
每次调用大模型时,整个对话历史都会作为输入发出去。而每个模型的上下文窗口(Context Window)和最大输出 token 数都是有限的:
- 输入预算 = 上下文窗口 − 最大输出 token,才是真正留给系统提示、工具定义和历史消息的空间;
- 一旦超预算,要么直接报
context length exceeded之类的错误,要么模型"忘掉"早期内容。
常见的应对手段是"手动截断",但粗暴截断会破坏信息完整性。agent-framework-go 的思路是:把压缩做成一组可插拔、可组合的策略,核心代码位于 agent/compaction/ 目录,包注释(doc.go)一句话概括了它的设计:
将对话历史缩减到适配模型上下文窗口,提供历史/上下文 Provider 与可组合策略——滑动窗口、截断、摘要、工具结果驱逐、上下文窗口尺寸化——由基于消息索引评估的触发器选择。
二、基石:MessageIndex 与消息分组
压缩的前提是"看懂"对话结构。agent-framework-go 不会把历史当成一锅平铺消息,而是先构建一个 MessageIndex(index.go),把消息序列划分为一个个消息组(MessageGroup)(group.go):
| 组类型 | 含义 |
|---|---|
GroupKindSystem |
系统消息,压缩时永远保留 |
GroupKindUser |
一条用户消息(一轮对话的起点) |
GroupKindAssistantText |
一条不含工具调用的助手文本回复 |
GroupKindToolCall |
助手的工具调用 + 对应的工具返回结果,作为原子单元绑定 |
GroupKindSummary |
压缩过程生成的摘要消息 |
这个分组设计有两个关键价值:
- 原子性:工具调用和它的结果总是一起保留或一起删除,永远不会出现"调用了工具却丢了结果"这种上下文断裂;
- 软删除:组被排除时只是打上
IsExcluded标记并记录ExcludeReason,原始历史仍然完整可查,方便诊断、存储或后续恢复。
同时,索引会为每个组统计 token 数(可注入自定义 TokenCounter,缺省按 UTF-8 字节数 ÷ 4 估算),并提供"全部组"与"未排除组"两套指标(token 数、消息数、轮次数、组数),这正是触发器判断的依据。
三、Trigger 与 Target:什么时候压、压到什么时候停
每个策略都遵循统一的"Trigger + Target"双闸门模型(trigger.go):
- Trigger(触发器):谓词函数,决定"是否需要启动压缩"。内置了丰富的判定器:
TokensExceed(n)/TokensBelow(n):按 token 数MessagesExceed(n):按消息数TurnsExceed(n):按用户轮次数GroupsExceed(n):按组数HasToolCalls():历史中存在工具调用- 还能用
All(...)、Any(...)组合出"且/或"逻辑
- Target(目标):每排除一个组就重新评估一次,决定"压到什么程度算够"。缺省情况下,压缩会持续到 Trigger 不再触发为止——即增量压缩,压够就停,而不是压到极致。
这种设计让每个策略都"按需工作":对话还短的时候就什么都不做,一旦越过阈值才开始动手。
四、五种内置压缩策略,从温和到激进
1. ToolResultStrategy:工具结果折叠(最温和)
工具调用的结果往往是大头(一大段 JSON、文件内容)。该策略(toolresult.go)只针对保护窗口之外的旧工具调用组,把每组折叠成一段简洁的 YAML 式摘要,例如"工具名 + 其结果列表",插入为 GroupKindSummary 组。用户消息和普通助手回复完全不受影响。默认保护最近 16 个组(MinimumPreservedGroups)。
2. SummarizationStrategy:LLM 摘要(智能压缩)
当需要"压缩但保留语义"时,summarization.go 提供 LLM 摘要方案:把保护窗口之外的旧消息连同系统摘要提示词一起交给可自定义的 Summarizer(可以用一个小而便宜的模型),生成一段浓缩消息插回原位。内置的默认提示词要求保留关键事实、用户偏好、工具调用结论,并砍掉客套话。它还有完善的失败回滚:摘要失败会自动恢复被排除的组,不产生任何破坏。
3. SlidingWindowStrategy:滑动窗口(按轮次丢弃)
slidingwindow.go 按用户轮次边界整轮丢弃最旧的消息,默认至少保留最近 1 轮。适合"只需要记住最近几轮"的会话式场景,行为完全可预测。
4. TruncationStrategy:直接截断(最激进)
truncation.go 从最旧的非系统组开始逐个排除,直到达标为止,默认保底保留最近 32 个组。它是最后的兜底手段——信息损失最大,但确定性最强。
5. ContextWindowStrategy:按模型窗口自动计算阈值(推荐)
contextwindow.go 是一个"自动化管线":你只需填入模型的最大上下文 token 和最大输出 token,它就自动算出输入预算,并构建两段式管线:
- token 超过预算的 50%(可配)→ 触发工具结果折叠;
- token 超过预算的 80%(可配)→ 触发截断。
对大多数场景,这一种策略就够用了。
五、PipelineStrategy:级联压缩管线的正确姿势
单独的策略已经够用,而 PipelineStrategy(pipeline.go)让你把它们按从温和到激进的顺序串成一条管线:每个策略依次作用于同一个索引,前一个策略的输出就是后一个的输入,直到触发器不再满足。
官方示例 step18_compaction_pipeline/main.go 展示了一条教科书级的四级管线:
| 顺序 | 策略 | 触发条件 | 作用 |
|---|---|---|---|
| ① | ToolResultStrategy | 消息数 > 7 | 温和:折叠旧工具调用 |
| ② | SummarizationStrategy | token 数 > 1280 | 中度:LLM 摘要旧对话 |
| ③ | SlidingWindowStrategy | 轮次数 > 4 | 较激进:只留最近 4 轮 |
| ④ | TruncationStrategy | token 数 > 32768 | 兜底:紧急截断到预算内 |
这条管线的精髓是分级响应:绝大多数轮次只跑第①步;真的快超窗时才逐级"升级",把信息损失降到最低。
六、接入 Agent:两种方式挂上线
策略设计好了,怎么让它自动生效?compaction 包提供了两个 Provider(provider.go、historyprovider.go):
compaction.NewContextProvider:作为agent.Config的ContextProviders之一,在每次 agent 运行前对消息应用压缩;有 session 时还会把分组状态持久化到 session,实现增量更新索引而非每次全量重建。这是最常用的接入方式(见上面 step18 示例的接入位置)。compaction.NewHistoryProvider:作为一个会存历史的 Provider,可配置在取历史前(BeforeMessagesRetrieval)或新消息存入后(AfterMessageAdded)自动压缩,适合希望压缩结果"落库"的场景。
七、策略选择速查表
| 场景 | 推荐策略 |
|---|---|
| 大多数生产环境,不想手动调参 | ContextWindowStrategy |
| 工具调用多、结果体积大 | ToolResultStrategy(单独或作为管线第一步) |
| 长程任务,需保留早期语义 | SummarizationStrategy |
| 短记忆聊天,只关心最近几轮 | SlidingWindowStrategy |
| 必须绝对不超窗 | TruncationStrategy 兜底 |
| 组合出最优体验 | PipelineStrategy 串联以上策略 |
八、总结
agent-framework-go 的 Compaction 模块用三块积木解决了长对话上下文爆炸问题:
- MessageIndex 把消息按语义分组、软删除,保证原子性与可观测性;
- Trigger + Target 让压缩"按需启动、压够即停";
- 五种策略 + PipelineStrategy 提供从"折叠工具结果"到"硬截断"的完整力度谱系,并可借助 Provider 无缝挂进 agent 生命周期。
想动手试试?克隆仓库 git clone https://gitcode.com/gh_mirrors/ag/agent-framework-go,然后直接运行 step18_compaction_pipeline 示例,观察多轮对话中消息数量被逐级"瘦身"的全过程,是对理解这套机制最好的实践。
