Paritok:AI编程代理上下文压缩网关,不改一行代码让Token账单最高直降85%
Paritok:AI编程代理上下文压缩网关,不改一行代码让Token账单最高直降85%
Paritok(paritok-4b-v1)是一个面向 AI 编程代理(Claude Code、Cursor、Codex、OpenHands 等)的非破坏性上下文压缩网关。它以代理(Proxy)形式运行在编程代理和 LLM API 之间,自动过滤冗余的工具 schema、压缩文件读取与工具输出、摘要过期历史,最终按压缩后的 token 计费——第一轮对话即可省约 25% 输入 token,长会话中节省率可超过 85%,同一上下文窗口还能多跑约 3 倍轮次。全程无需修改代理代码,被压缩的原始内容还能随时按需取回,真正做到"账单缩水、信息不丢"。
📌 什么是 Paritok?Agent 与 LLM 之间的"压缩中间人"
编程代理的 token 账单,绝大部分来自每一轮都重复发送的输入:几十个完整 JSON 格式的工具 schema、不断变长的对话历史、大段文件读取和工具输出。Paritok 的做法是在中间加一层:
你的 Agent (Claude Code / Cursor / Codex)
→ 构建请求(工具 schema + 历史 + 工具结果 / 文件读取)
★ Paritok 网关在此改写请求 ★
→ 转发至 Anthropic / OpenAI(按压缩后的 token 计费)
← 响应原样返回;压缩内容可随时按 [REF:id] 取回原文
关键设计是非破坏性:Paritok 在线路上是有损压缩,但每个被压缩的片段都会打上 [REF:id] 标签,代理随时可以调用 read_original 取回逐字节一致的原文。被过滤掉的工具 schema 也一样,模型可通过 gateway_search_tools 找回完整定义——省下的钱是真的省了,但没有任何信息被永久丢弃。
🎚️ 三大省钱机制:工具过滤、内容压缩、历史摘要
Paritok 的省钱来自三个互相叠加、各打账单不同位置的机制(见 README.md 的 "The three levers" 章节):
1️⃣ 工具 schema 语义过滤——单轮最大的一笔节省
编程代理通常携带 40~70+ 个工具,每次请求都发送完整 JSON schema,其中大部分与当前任务无关。Paritok 用本地 CPU 上运行的小型嵌入模型(bge-small,~130MB,无需 API、无按 token 费用)做语义筛选:只保留与用户意图相关的少数工具保留完整 schema,其余降级为占位。
- 典型 Claude Code 一轮的工具块约 29K tokens,过滤后降到 ~8K
- 筛选结果按会话冻结,
tools[]块逐轮字节稳定,不会击穿 LLM 的 prompt cache - 核心执行工具(shell / exec / apply_patch)永不被降级
2️⃣ 4B 模型内容压缩——文件读取、工具输出、历史
每个 tool_result、文件读取块,以及窗口填满后的过期历史,都会被专用的 4B 压缩模型压到原文约 26% 的大小。这是"代码原生"模型的价值所在:它知道函数签名比调试日志值钱,会保护函数名、路径、错误字符串,只丢弃噪声。单轮看它是较小的杠杆(几个百分点),但它的威力随整个会话复利增长——见下一节。
3️⃣ 历史摘要——长会话不爆窗口
超出近期窗口(默认保留最近 4 轮)的旧轮次会在上下文接近满载时被摘要一次,让长会话始终留在模型上下文窗口内,而不是溢出或被客户端激进压缩丢细节。
📈 节省随会话长度复利:第 1 轮 25% → 长会话 85%+
这是单轮基准测试掩盖不了的部分:每轮读过的文件都会留在历史里、每轮被重发,内容压缩的节省随轮数二次方增长,工具过滤则每轮固定砍一刀,两者叠加:
| 轮次 | 累计节省(相对无 Paritok 基线) |
|---|---|
| 1 | ~25% |
| 5 | ~39% |
| 10 | ~54% |
| 20 | ~63% |
节省上限取决于部署形态:
| 场景 | 节省上限 |
|---|---|
| 默认(~40 工具、中等读取量) | ~72% |
| MCP 重度(70+ 工具) | ~78% |
| 上下文饱和(不开 Paritok 会被迫压缩) | ~85%+ |
同一预算,更长的思考跑道。 每轮前缀变小后,同样的上下文窗口能容纳更多轮次:128K 窗口下从 ~10 轮提升到 ~30 轮,200K 下从 ~15 轮提升到 ~44 轮——大约是 3 倍跑道,代理有更多轮次思考并把任务做完才"撞墙"。
按 Claude Sonnet 输入价($3/M)算,20 轮会话的账单从 $0.75 降到 $0.28;20 人团队一年可省下约 $23K。
🧠 引擎:首个开源的"代码原生"4B 压缩模型
网关的内容压缩由 Paritok-4B-v1 驱动——基于 Qwen3-4B-Instruct-2507 + LoRA 适配器,用 45K 条真实编程代理轨迹蒸馏训练(数据流水线见 data_pipeline/,训练脚本见 training/train_sft_instruct.py)。
几个硬核指标(SWE-bench Lite 端到端评测,可在 eval_model/ 复现):
| 压缩器 | 保留质量 | 压缩率 |
|---|---|---|
| gpt-5 | 93.6% | 61.9% |
| gpt-4.1-mini | 85.6% | 50.2% |
| Paritok-4B-v1(带行号输入) | 89.3% | 27.8% |
- 抽取式而非改写式:在留出集上 96.2% 的标识符、路径、数字 token 是从输入中原样拷贝的——压缩后的上下文依然能支撑精确匹配的编辑操作
- 小而自托管:4B LoRA 适配器,单张 24GB GPU 即可跑;也可通过 Ollama 在本地机器上运行
- 完全开源:Apache 2.0 权重 + 可复现的数据流水线 + 真实端到端 SWE-bench 数据
🚀 快速上手:三步接入,不改一行代理代码
第 1 步:安装网关(无需 clone 仓库)
pip install "paritok[proxy]" # 网关 + CLI
paritok up # 拉取模型后启动代理(默认端口 8080)
paritok up 会自动检查 Ollama 并在缺失时拉取 paritok/paritok-4b-v1(~2.5GB,仅首次)。保持该终端常开,代理是整个会话的流量入口。
第 2 步:(可选)启用工具 schema 过滤——最大单轮杠杆
pip install "paritok[toolselect]" # 加入 CPU 嵌入选择器
第 3 步:把代理指向 Paritok,然后启动你的编程代理
export ANTHROPIC_BASE_URL=http://127.0.0.1:8080 # Claude Code / Cursor
export OPENAI_BASE_URL=http://127.0.0.1:8080 # OpenAI-SDK 系代理
Codex CLI 例外(它只读 ~/.codex/config.toml),paritok up 会帮你写好该文件(含备份)。你的原始 API key 照常设置即可,代理只改写请求体、透传响应头。
✅ 验证是否生效
curl http://127.0.0.1:8080/health # {"status":"ok", ...}
curl http://127.0.0.1:8080/stats # 实时压缩统计
/stats 报告会话累计节省,示例输出:
{
"total_requests": 42,
"input_tokens_original": 512340,
"input_tokens_compressed": 138221,
"compression_ratio": 0.27,
"tokens_saved": 374119,
"estimated_cost_saved_usd": "$1.01"
}
注意省钱金额是缓存感知计算的:压缩内容按全价新输入计费,冻结的工具块首轮按 cache 写入、之后按 cache 读取计价——不会被虚高。v1.3.8 起 /stats 还提供了可视化仪表盘,可实时查看每次请求"原文 → 压缩后"的前后对比。
🎯 谁适合用 Paritok?
- 会话长、多轮——节省从第 1 轮 ~25% 复利到 20 轮的 60%+
- 读取密集型工作:代码审计、大仓库 Q&A、长时间调试
- 挂了大量 MCP 工具(40+)——工具过滤每轮固定砍 ~21K tokens
- 正在为高价输入 token 付费(Sonnet $3/M、Opus $5/M、GPT-5 $10/M)
- 想在同一上下文窗口内跑更深的会话,避免客户端强制压缩
📄 开源许可与延伸阅读
- 自托管免费:网关、4B 模型、训练脚本全部 Apache 2.0 开源(见 LICENSE),无遥测、无 key、无费用;也可使用官方托管 GPU 服务
- 项目主文档:README.md
- 网关核心实现:paritok/proxy/server.py、paritok/middleware/wrapper.py
- 配置项说明:paritok/config.py(
use_gpu_server、tool_discovery、history等) - CLI 入口:paritok/cli.py
- 端到端评测:eval_model/
- 训练数据流水线:data_pipeline/
一句话总结:长会话、多轮、读取密集,用得越多省得越多——Paritok 把"省 token"变成了不改代码的一行环境变量。
