118倍 token 节省从何而来?oc 对比 Jina Reader、Playwright MCP 与 WebFetch 的基准数据深度解析

原创2026-11-12 14:52:522,260 阅读

118倍 token 节省从何而来?oc 对比 Jina Reader、Playwright MCP 与 WebFetch 的基准数据深度解析

oc 是一个为 AI Agent 打造的「网页浏览 CLI」工具:一条 oc open <url>,就能把任意网页变成紧凑的编号终端视图,让 Claude Code、Codex 等 Agent 用几百个 token 浏览网页,而不是几万个。本文用真实基准数据,把 oc 与原始 HTML 抓取、Jina Reader、Playwright MCP、WebFetch 逐一放上台面,讲清楚 118 倍的 token 节省到底从何而来,新手也能看懂。

为什么 AI Agent 读网页要「省 token」

对人来说,打开一个网页是无感的事;但对 AI Agent 来说,每抓一个网页都要「按字计费」。一个典型内容页的原始 HTML 动辄几万 token 标记,而 Agent 真正需要的可能只是其中几十行文字。如果原样喂给模型:

  • 💸 成本飙升:输入 token 直接决定 LLM API 账单;
  • 🧠 上下文被挤爆:一个 3 万 token 的页面会占掉大部分上下文窗口,Agent 反而「忘了」你的任务;
  • 🗑 大量信息无用:脚本、样式、导航菜单、页脚链接——这些 Agent 根本不需要。

于是「如何让 Agent 便宜地读网页」成为 Agent 工具的常见难题。常见方案有三类:HTML 转 Markdown(如 Jina Reader)、驱动真实浏览器取可访问性快照或截图(如 Playwright MCP)、以及内置抓取工具(如 Claude Code 的 WebFetch / WebSearch)。

oc 走的是另一条路:在命令行里做「蒸馏 + 预算控制 + 按需读取」。官方基准显示,它在 14 个真实页面上比读原始 HTML 少用 118 倍 token,比 Jina Reader 少 17 倍,比 Playwright MCP 少 54 倍。

oc 网页浏览 CLI token 节省原理图:杂乱原始 HTML 经漏斗过滤为紧凑终端视图

基准数据:118 倍 token 节省是怎么算出来的

先看「单页」数据。测试集覆盖 15 个真实网页:新闻首页、Reddit 帖子与子版(经 Atom feed 读取)、搜索结果、股票报价、云 CLI 参考页,以及 Python / MDN / Node.js 文档。

方法 15 页总 token 备注
oc open 9,913 15 页全部读到真实内容
Jina Reader 145,679 Reddit 两条结果均为拦截页,LinkedIn 直接失败
Playwright MCP 535,908 浏览器可访问性快照,Reddit 也拿到拦截页
原始 HTML 抓取 1,119,003 Yahoo Finance 直接拒绝连接

只比较双方都能读到的 14 个页面(剔除原始抓取进不去的 Yahoo Finance):1,119,003 ÷ 9,466 ≈ 118 倍——「118 倍 token 节省」就是这个比例。

几个极端例子更直观:

页面 原始 HTML oc 蒸馏后
YouTube 视频页 363,516 688
Node.js fs 模块文档 275,425 479
Reddit 帖子(Atom feed) 10,452 459
Reddit 子版(Atom feed) 21,155 493

还有一层隐藏收益是访问能力:同一批页面里,Jina Reader 和 Playwright MCP 在 Reddit 上都被拦(指纹被识别)、Jina 在 LinkedIn 上直接失败、原始 fetch 被 Yahoo Finance 拒绝;而 oc 的请求伪装成真实 Chrome 浏览器(被拒时降级 Firefox,再降级原生 fetch),15 页全部读到。对 Agent 来说,「读得到」是「读得省」的前提。

💡 数据来自项目 README.md 的 Benchmarks 一节与独立基准仓库 only-cli/benchmarks,oc 0.5.1~0.5.3,2026 年 9 月在真实站点实测。

三层机制:oc 如何把页面压到几百 token

1️⃣ 蒸馏:先丢掉 Agent 不需要的东西

核心逻辑在 src/distill.js,做了三件事:

  • 整棵子树删除:script、style、svg、iframe、head 等元素连出现的机会都没有(见 src/distill.js 的 DROP 名单);
  • 内容前置:用 main / article 等信号定位正文,把它放最前面,导航、侧栏、页脚统统挪到末尾;
  • 重复控件去重:「保存 / 回复 / 点赞」这类在页面重复出现多次的短按钮标签,被判定为装饰性 UI 直接剔除。

2️⃣ 预算控制:默认 500 token,「目标是上限,不是硬顶」

蒸馏之后,src/render.js 负责按预算渲染(默认 --budget 500)。正文在前、菜单在后,预算花在你问的内容上,而不是花在菜单上。更妙的是边界处理:页面略超预算时会整页打印——因为对 Agent 来说,多跑一次命令往返,远比省下的那点 token 贵。

3️⃣ 按需读取:不重复抓页,不重复付费

oc open 会把页面缓存在本地,之后的 oc do <n>(跟编号链接)、oc find <query>(页内搜索)、oc read <n>(读某一段全文)、oc next(下一屏)都是重放已存页面,不重新请求、不重复计费整页。真需要整页时,oc raw 输出完整 Markdown(约 10 倍成本)。完整命令表见 README.md 的 Commands 一节,面向 Agent 的用法说明则写在 skills/web-browsing-cli/SKILL.md。

端到端任务:oc 比 WebFetch、WebSearch 便宜多少

「读得省」是一回事,「任务总花费」是另一回事。基准在 Claude Code(claude-sonnet-5)里跑完整查找,每种工具单独跑一遍,每个答案都打分:

任务套件 工具 答对 输入 token 成本 平均耗时
Wikipedia 查找(5 题) oc wiki 5/5 5,535 $0.23 8s
内置 WebFetch 5/5 129,257 $0.35 12s
内置 WebSearch 5/5 136,982 $0.45 16s
语言文档查找(11 题) oc docs 11/11 12,967 $0.56 8s
内置 WebFetch 10/11 203,497 $0.71 12s
内置 WebSearch 11/11 215,833 $0.85 14s
依赖研究(12 题) oc open 12/12 13,261 $0.63 10s
内置 WebFetch 10/12 173,779 $0.70 11s
内置 WebSearch 12/12 326,088 $1.22 19s

几个值得注意的点:

  • 📊 Wikipedia 套件:oc 的输入 token 只有 WebSearch 的约 1/25,成本减半($0.23 对 $0.45),正确率持平 5/5;
  • 📖 语言文档套件:比 WebFetch 便宜 21%、比 WebSearch 便宜 34%,正确率持平或更高。WebFetch 错的 3 题全是访问失败——cppreference、npm、Stack Overflow 拒绝它的请求,而 oc 的 Chrome 伪装能读同样的页面;
  • 📦 依赖研究套件:比 WebFetch 便宜 10%、比 WebSearch 便宜 49%,12/12 全对,且多数站点没有专门的快捷命令,走的是通用渲染;
  • ⚖️ 诚实的反例:在 Codex 环境里,语言文档查找反而是 Codex 自带搜索赢了 16%——那些事实本来就在它的搜索摘要里,两轮就答完,没开页面。

依赖套件也暴露了 oc 通用渲染的边界:JavaScript-only 的 crates.io 页面和跨多块的复杂表格,各让它多花了 8 个回合。结论是:oc 不是「无条件最便宜」,但在「Agent 必须真正打开页面阅读」的场景里,它几乎总是最省的那个。

内置快捷方式:比通用渲染更省的地方

clis/ 目录下内置了 40 多个站点的 JSON 定义:oc hn top、oc reddit sub ClaudeAI、oc gh repo only-cli oc……快捷方式只做「名字 → URL」的转换,然后走和 oc open 完全相同的管线,成本与可读性不变。

更值钱的是 JSON API 优化:端点返回 JSON 时,oc 把每条记录渲染成一个编号项,只保留「条目之间不同的字段」,「所有条目共享的字段」只说一次。例如 oc npm pkg react 用约 70 个 token 输出版本、license、engines 与依赖——如果让 Agent 对着完整记录自己猜,轻松吃掉几千 token。

快速上手:一条命令安装,一行配置接入

要求 Node 20+,两步完成:

npm install -g @only-cli/oc

然后在 Agent 的指令文件(CLAUDE.md、AGENTS.md)里加一行:

When you need content from a web page, run npx @only-cli/oc open <url> instead of fetching raw HTML. Run npx @only-cli/oc --help once to learn the commands.

零安装也能跑:直接 npx @only-cli/oc open <url>。想让 AI 系统认识这个仓库,llms.txt 就是它的一页纸说明书。

⚠️ 小坑提醒:Red Hat OpenShift 也有一个 oc 命令,两者会互相遮蔽。OpenShift 用户建议直接用 npx @only-cli/oc 代替全局安装。

总结:oc 适合谁

场景 推荐工具 理由
Agent 常读新闻、文档、搜索、论坛 oc 每页几百 token,15 页全部真实内容
拒绝普通脚本的页面(Yahoo Finance 等) oc Chrome 伪装真能读进去
一次性问题、答案在搜索摘要里 Agent 自带搜索 不用开页面,两轮搞定
纯 JavaScript 渲染页 浏览器类工具 oc 尚不支持 JS 渲染

已知限制,项目也说得直白:暂不支持 JavaScript 渲染,强反爬挑战页可能仍然拒绝;fill / submit(表单操作)还在计划中。阅读能力则已有 tests/ 下的离线测试覆盖。

最后记住三个数字:

  1. 118 倍——oc 相对原始 HTML 的 token 节省(14 个真实页面);
  2. 500 token——默认每页预算,「是目标,不是硬顶」;
  3. 15/15——读到真实内容的页面数,连拦截页重灾区 Reddit 也没逃过。
登录后查看全文
oc