118倍 token 节省从何而来?oc 对比 Jina Reader、Playwright MCP 与 WebFetch 的基准数据深度解析
118倍 token 节省从何而来?oc 对比 Jina Reader、Playwright MCP 与 WebFetch 的基准数据深度解析
oc 是一个为 AI Agent 打造的「网页浏览 CLI」工具:一条 oc open <url>,就能把任意网页变成紧凑的编号终端视图,让 Claude Code、Codex 等 Agent 用几百个 token 浏览网页,而不是几万个。本文用真实基准数据,把 oc 与原始 HTML 抓取、Jina Reader、Playwright MCP、WebFetch 逐一放上台面,讲清楚 118 倍的 token 节省到底从何而来,新手也能看懂。
为什么 AI Agent 读网页要「省 token」
对人来说,打开一个网页是无感的事;但对 AI Agent 来说,每抓一个网页都要「按字计费」。一个典型内容页的原始 HTML 动辄几万 token 标记,而 Agent 真正需要的可能只是其中几十行文字。如果原样喂给模型:
- 💸 成本飙升:输入 token 直接决定 LLM API 账单;
- 🧠 上下文被挤爆:一个 3 万 token 的页面会占掉大部分上下文窗口,Agent 反而「忘了」你的任务;
- 🗑 大量信息无用:脚本、样式、导航菜单、页脚链接——这些 Agent 根本不需要。
于是「如何让 Agent 便宜地读网页」成为 Agent 工具的常见难题。常见方案有三类:HTML 转 Markdown(如 Jina Reader)、驱动真实浏览器取可访问性快照或截图(如 Playwright MCP)、以及内置抓取工具(如 Claude Code 的 WebFetch / WebSearch)。
oc 走的是另一条路:在命令行里做「蒸馏 + 预算控制 + 按需读取」。官方基准显示,它在 14 个真实页面上比读原始 HTML 少用 118 倍 token,比 Jina Reader 少 17 倍,比 Playwright MCP 少 54 倍。
基准数据:118 倍 token 节省是怎么算出来的
先看「单页」数据。测试集覆盖 15 个真实网页:新闻首页、Reddit 帖子与子版(经 Atom feed 读取)、搜索结果、股票报价、云 CLI 参考页,以及 Python / MDN / Node.js 文档。
| 方法 | 15 页总 token | 备注 |
|---|---|---|
oc open |
9,913 | 15 页全部读到真实内容 |
| Jina Reader | 145,679 | Reddit 两条结果均为拦截页,LinkedIn 直接失败 |
| Playwright MCP | 535,908 | 浏览器可访问性快照,Reddit 也拿到拦截页 |
| 原始 HTML 抓取 | 1,119,003 | Yahoo Finance 直接拒绝连接 |
只比较双方都能读到的 14 个页面(剔除原始抓取进不去的 Yahoo Finance):1,119,003 ÷ 9,466 ≈ 118 倍——「118 倍 token 节省」就是这个比例。
几个极端例子更直观:
| 页面 | 原始 HTML | oc 蒸馏后 |
|---|---|---|
| YouTube 视频页 | 363,516 | 688 |
Node.js fs 模块文档 |
275,425 | 479 |
| Reddit 帖子(Atom feed) | 10,452 | 459 |
| Reddit 子版(Atom feed) | 21,155 | 493 |
还有一层隐藏收益是访问能力:同一批页面里,Jina Reader 和 Playwright MCP 在 Reddit 上都被拦(指纹被识别)、Jina 在 LinkedIn 上直接失败、原始 fetch 被 Yahoo Finance 拒绝;而 oc 的请求伪装成真实 Chrome 浏览器(被拒时降级 Firefox,再降级原生 fetch),15 页全部读到。对 Agent 来说,「读得到」是「读得省」的前提。
💡 数据来自项目 README.md 的 Benchmarks 一节与独立基准仓库 only-cli/benchmarks,oc 0.5.1~0.5.3,2026 年 9 月在真实站点实测。
三层机制:oc 如何把页面压到几百 token
1️⃣ 蒸馏:先丢掉 Agent 不需要的东西
核心逻辑在 src/distill.js,做了三件事:
- 整棵子树删除:
script、style、svg、iframe、head等元素连出现的机会都没有(见 src/distill.js 的 DROP 名单); - 内容前置:用
main/article等信号定位正文,把它放最前面,导航、侧栏、页脚统统挪到末尾; - 重复控件去重:「保存 / 回复 / 点赞」这类在页面重复出现多次的短按钮标签,被判定为装饰性 UI 直接剔除。
2️⃣ 预算控制:默认 500 token,「目标是上限,不是硬顶」
蒸馏之后,src/render.js 负责按预算渲染(默认 --budget 500)。正文在前、菜单在后,预算花在你问的内容上,而不是花在菜单上。更妙的是边界处理:页面略超预算时会整页打印——因为对 Agent 来说,多跑一次命令往返,远比省下的那点 token 贵。
3️⃣ 按需读取:不重复抓页,不重复付费
oc open 会把页面缓存在本地,之后的 oc do <n>(跟编号链接)、oc find <query>(页内搜索)、oc read <n>(读某一段全文)、oc next(下一屏)都是重放已存页面,不重新请求、不重复计费整页。真需要整页时,oc raw 输出完整 Markdown(约 10 倍成本)。完整命令表见 README.md 的 Commands 一节,面向 Agent 的用法说明则写在 skills/web-browsing-cli/SKILL.md。
端到端任务:oc 比 WebFetch、WebSearch 便宜多少
「读得省」是一回事,「任务总花费」是另一回事。基准在 Claude Code(claude-sonnet-5)里跑完整查找,每种工具单独跑一遍,每个答案都打分:
| 任务套件 | 工具 | 答对 | 输入 token | 成本 | 平均耗时 |
|---|---|---|---|---|---|
| Wikipedia 查找(5 题) | oc wiki |
5/5 | 5,535 | $0.23 | 8s |
内置 WebFetch |
5/5 | 129,257 | $0.35 | 12s | |
内置 WebSearch |
5/5 | 136,982 | $0.45 | 16s | |
| 语言文档查找(11 题) | oc docs |
11/11 | 12,967 | $0.56 | 8s |
内置 WebFetch |
10/11 | 203,497 | $0.71 | 12s | |
内置 WebSearch |
11/11 | 215,833 | $0.85 | 14s | |
| 依赖研究(12 题) | oc open |
12/12 | 13,261 | $0.63 | 10s |
内置 WebFetch |
10/12 | 173,779 | $0.70 | 11s | |
内置 WebSearch |
12/12 | 326,088 | $1.22 | 19s |
几个值得注意的点:
- 📊 Wikipedia 套件:oc 的输入 token 只有
WebSearch的约 1/25,成本减半($0.23 对 $0.45),正确率持平 5/5; - 📖 语言文档套件:比
WebFetch便宜 21%、比WebSearch便宜 34%,正确率持平或更高。WebFetch错的 3 题全是访问失败——cppreference、npm、Stack Overflow 拒绝它的请求,而 oc 的 Chrome 伪装能读同样的页面; - 📦 依赖研究套件:比
WebFetch便宜 10%、比WebSearch便宜 49%,12/12 全对,且多数站点没有专门的快捷命令,走的是通用渲染; - ⚖️ 诚实的反例:在 Codex 环境里,语言文档查找反而是 Codex 自带搜索赢了 16%——那些事实本来就在它的搜索摘要里,两轮就答完,没开页面。
依赖套件也暴露了 oc 通用渲染的边界:JavaScript-only 的 crates.io 页面和跨多块的复杂表格,各让它多花了 8 个回合。结论是:oc 不是「无条件最便宜」,但在「Agent 必须真正打开页面阅读」的场景里,它几乎总是最省的那个。
内置快捷方式:比通用渲染更省的地方
clis/ 目录下内置了 40 多个站点的 JSON 定义:oc hn top、oc reddit sub ClaudeAI、oc gh repo only-cli oc……快捷方式只做「名字 → URL」的转换,然后走和 oc open 完全相同的管线,成本与可读性不变。
更值钱的是 JSON API 优化:端点返回 JSON 时,oc 把每条记录渲染成一个编号项,只保留「条目之间不同的字段」,「所有条目共享的字段」只说一次。例如 oc npm pkg react 用约 70 个 token 输出版本、license、engines 与依赖——如果让 Agent 对着完整记录自己猜,轻松吃掉几千 token。
快速上手:一条命令安装,一行配置接入
要求 Node 20+,两步完成:
npm install -g @only-cli/oc
然后在 Agent 的指令文件(CLAUDE.md、AGENTS.md)里加一行:
When you need content from a web page, run
npx @only-cli/oc open <url>instead of fetching raw HTML. Runnpx @only-cli/oc --helponce to learn the commands.
零安装也能跑:直接 npx @only-cli/oc open <url>。想让 AI 系统认识这个仓库,llms.txt 就是它的一页纸说明书。
⚠️ 小坑提醒:Red Hat OpenShift 也有一个 oc 命令,两者会互相遮蔽。OpenShift 用户建议直接用 npx @only-cli/oc 代替全局安装。
总结:oc 适合谁
| 场景 | 推荐工具 | 理由 |
|---|---|---|
| Agent 常读新闻、文档、搜索、论坛 | oc | 每页几百 token,15 页全部真实内容 |
| 拒绝普通脚本的页面(Yahoo Finance 等) | oc | Chrome 伪装真能读进去 |
| 一次性问题、答案在搜索摘要里 | Agent 自带搜索 | 不用开页面,两轮搞定 |
| 纯 JavaScript 渲染页 | 浏览器类工具 | oc 尚不支持 JS 渲染 |
已知限制,项目也说得直白:暂不支持 JavaScript 渲染,强反爬挑战页可能仍然拒绝;fill / submit(表单操作)还在计划中。阅读能力则已有 tests/ 下的离线测试覆盖。
最后记住三个数字:
- 118 倍——oc 相对原始 HTML 的 token 节省(14 个真实页面);
- 500 token——默认每页预算,「是目标,不是硬顶」;
- 15/15——读到真实内容的页面数,连拦截页重灾区 Reddit 也没逃过。
