Paritok:AI编程代理上下文压缩网关,不改一行代码让Token账单最高直降85%

原创2026-10-11 14:01:561,815 阅读

Paritok:AI编程代理上下文压缩网关,不改一行代码让Token账单最高直降85%

Paritok(paritok-4b-v1)是一个面向 AI 编程代理(Claude Code、Cursor、Codex、OpenHands 等)的非破坏性上下文压缩网关。它以代理(Proxy)形式运行在编程代理和 LLM API 之间,自动过滤冗余的工具 schema、压缩文件读取与工具输出、摘要过期历史,最终按压缩后的 token 计费——第一轮对话即可省约 25% 输入 token,长会话中节省率可超过 85%,同一上下文窗口还能多跑约 3 倍轮次。全程无需修改代理代码,被压缩的原始内容还能随时按需取回,真正做到"账单缩水、信息不丢"。

📌 什么是 Paritok?Agent 与 LLM 之间的"压缩中间人"

编程代理的 token 账单,绝大部分来自每一轮都重复发送的输入:几十个完整 JSON 格式的工具 schema、不断变长的对话历史、大段文件读取和工具输出。Paritok 的做法是在中间加一层:

你的 Agent (Claude Code / Cursor / Codex)
  → 构建请求(工具 schema + 历史 + 工具结果 / 文件读取)
     ★ Paritok 网关在此改写请求 ★
  → 转发至 Anthropic / OpenAI(按压缩后的 token 计费)
  ← 响应原样返回;压缩内容可随时按 [REF:id] 取回原文

关键设计是非破坏性:Paritok 在线路上是有损压缩,但每个被压缩的片段都会打上 [REF:id] 标签,代理随时可以调用 read_original 取回逐字节一致的原文。被过滤掉的工具 schema 也一样,模型可通过 gateway_search_tools 找回完整定义——省下的钱是真的省了,但没有任何信息被永久丢弃。

Paritok压缩网关效果对比:3000 tokens 的文件读取被无损压缩到 780 tokens

🎚️ 三大省钱机制:工具过滤、内容压缩、历史摘要

Paritok 的省钱来自三个互相叠加、各打账单不同位置的机制(见 README.md 的 "The three levers" 章节):

1️⃣ 工具 schema 语义过滤——单轮最大的一笔节省

编程代理通常携带 40~70+ 个工具,每次请求都发送完整 JSON schema,其中大部分与当前任务无关。Paritok 用本地 CPU 上运行的小型嵌入模型(bge-small,~130MB,无需 API、无按 token 费用)做语义筛选:只保留与用户意图相关的少数工具保留完整 schema,其余降级为占位。

  • 典型 Claude Code 一轮的工具块约 29K tokens,过滤后降到 ~8K
  • 筛选结果按会话冻结,tools[] 块逐轮字节稳定,不会击穿 LLM 的 prompt cache
  • 核心执行工具(shell / exec / apply_patch)永不被降级

2️⃣ 4B 模型内容压缩——文件读取、工具输出、历史

每个 tool_result、文件读取块,以及窗口填满后的过期历史,都会被专用的 4B 压缩模型压到原文约 26% 的大小。这是"代码原生"模型的价值所在:它知道函数签名比调试日志值钱,会保护函数名、路径、错误字符串,只丢弃噪声。单轮看它是较小的杠杆(几个百分点),但它的威力随整个会话复利增长——见下一节。

3️⃣ 历史摘要——长会话不爆窗口

超出近期窗口(默认保留最近 4 轮)的旧轮次会在上下文接近满载时被摘要一次,让长会话始终留在模型上下文窗口内,而不是溢出或被客户端激进压缩丢细节。

📈 节省随会话长度复利:第 1 轮 25% → 长会话 85%+

这是单轮基准测试掩盖不了的部分:每轮读过的文件都会留在历史里、每轮被重发,内容压缩的节省随轮数二次方增长,工具过滤则每轮固定砍一刀,两者叠加:

轮次 累计节省(相对无 Paritok 基线)
1 ~25%
5 ~39%
10 ~54%
20 ~63%

节省上限取决于部署形态:

场景 节省上限
默认(~40 工具、中等读取量) ~72%
MCP 重度(70+ 工具) ~78%
上下文饱和(不开 Paritok 会被迫压缩) ~85%+

同一预算,更长的思考跑道。 每轮前缀变小后,同样的上下文窗口能容纳更多轮次:128K 窗口下从 ~10 轮提升到 ~30 轮,200K 下从 ~15 轮提升到 ~44 轮——大约是 3 倍跑道,代理有更多轮次思考并把任务做完才"撞墙"。

按 Claude Sonnet 输入价($3/M)算,20 轮会话的账单从 $0.75 降到 $0.28;20 人团队一年可省下约 $23K。

🧠 引擎:首个开源的"代码原生"4B 压缩模型

网关的内容压缩由 Paritok-4B-v1 驱动——基于 Qwen3-4B-Instruct-2507 + LoRA 适配器,用 45K 条真实编程代理轨迹蒸馏训练(数据流水线见 data_pipeline/,训练脚本见 training/train_sft_instruct.py)。

几个硬核指标(SWE-bench Lite 端到端评测,可在 eval_model/ 复现):

压缩器 保留质量 压缩率
gpt-5 93.6% 61.9%
gpt-4.1-mini 85.6% 50.2%
Paritok-4B-v1(带行号输入) 89.3% 27.8%
  • 抽取式而非改写式:在留出集上 96.2% 的标识符、路径、数字 token 是从输入中原样拷贝的——压缩后的上下文依然能支撑精确匹配的编辑操作
  • 小而自托管:4B LoRA 适配器,单张 24GB GPU 即可跑;也可通过 Ollama 在本地机器上运行
  • 完全开源:Apache 2.0 权重 + 可复现的数据流水线 + 真实端到端 SWE-bench 数据

🚀 快速上手:三步接入,不改一行代理代码

第 1 步:安装网关(无需 clone 仓库)

pip install "paritok[proxy]"     # 网关 + CLI
paritok up                       # 拉取模型后启动代理(默认端口 8080)

paritok up 会自动检查 Ollama 并在缺失时拉取 paritok/paritok-4b-v1(~2.5GB,仅首次)。保持该终端常开,代理是整个会话的流量入口。

第 2 步:(可选)启用工具 schema 过滤——最大单轮杠杆

pip install "paritok[toolselect]"   # 加入 CPU 嵌入选择器

第 3 步:把代理指向 Paritok,然后启动你的编程代理

export ANTHROPIC_BASE_URL=http://127.0.0.1:8080   # Claude Code / Cursor
export OPENAI_BASE_URL=http://127.0.0.1:8080     # OpenAI-SDK 系代理

Codex CLI 例外(它只读 ~/.codex/config.toml),paritok up 会帮你写好该文件(含备份)。你的原始 API key 照常设置即可,代理只改写请求体、透传响应头。

✅ 验证是否生效

curl http://127.0.0.1:8080/health   # {"status":"ok", ...}
curl http://127.0.0.1:8080/stats    # 实时压缩统计

/stats 报告会话累计节省,示例输出:

{
  "total_requests": 42,
  "input_tokens_original": 512340,
  "input_tokens_compressed": 138221,
  "compression_ratio": 0.27,
  "tokens_saved": 374119,
  "estimated_cost_saved_usd": "$1.01"
}

注意省钱金额是缓存感知计算的:压缩内容按全价新输入计费,冻结的工具块首轮按 cache 写入、之后按 cache 读取计价——不会被虚高。v1.3.8 起 /stats 还提供了可视化仪表盘,可实时查看每次请求"原文 → 压缩后"的前后对比。

🎯 谁适合用 Paritok?

  • 会话长、多轮——节省从第 1 轮 ~25% 复利到 20 轮的 60%+
  • 读取密集型工作:代码审计、大仓库 Q&A、长时间调试
  • 挂了大量 MCP 工具(40+)——工具过滤每轮固定砍 ~21K tokens
  • 正在为高价输入 token 付费(Sonnet $3/M、Opus $5/M、GPT-5 $10/M)
  • 想在同一上下文窗口内跑更深的会话,避免客户端强制压缩

📄 开源许可与延伸阅读

一句话总结:长会话、多轮、读取密集,用得越多省得越多——Paritok 把"省 token"变成了不改代码的一行环境变量。

登录后查看全文
paritok-4b-v1