上下文不是越多越好:jev-skill 批量判断与并发调用的 6 条最佳实践
上下文不是越多越好:jev-skill 批量判断与并发调用的 6 条最佳实践
jev-skill 是一个开源的 Jev 用例、工作流与 agent skills 集合,专门用来把重复的 LLM 分类、打分和路由判断替换成又快又省的批量判断与并发调用。很多新手的第一个直觉是"上下文越多越好",但项目里一次 40 次真实调用的实验给出了不同答案:更多证据能带来更多可判断的结果,却不等于更高的准确率。本文面向新手,提炼 6 条可以直接落地的最佳实践,帮你把上下文管理、批量判断和并发调用做对。
🧪 先说结论:一次 40 次真实调用的实验
在 docs/experiments/context-pilot/ 中,作者用 OpenRouter 对 20 个合成案例各发了"短证据"和"长证据"两个版本,共 40 次独立请求、不重试、不丢弃任何输出。结果很有代表性:
| 指标 | 短证据 | 长证据 |
|---|---|---|
| 与预期标签一致 | 20/20 (100%) | 19/20 (95%) |
回答 unknown |
15/20 | 4/20 |
| 通过 CLI 阈值被选定 | 5/20 | 15/20 |
三个要点:
- 更多证据让"可决策"变多:10 个拿到决定性证据的案例全部从
unknown变成了正确答案; - 但准确率没有变高,长证据组反而有 1 例分歧(0.82 概率的
contradicted,实际预期是unknown); - 全量请求成本仅 $0.00078、18,668 个输入 token,单次请求中位耗时约 0.45 秒——低延迟是"用并发换时间"的基础。
所以正确的心智模型是:给"足够"的证据,让问题可判断;而不是把整个对话或整个仓库塞进去。
📋 批量判断 6 条最佳实践速览
| # | 实践 | 一句话 |
|---|---|---|
| 1 | 提供足够而非最大的上下文 | 保留决定性证据,删掉无关内容 |
| 2 | 让每个请求自包含 | Jev 看不到你的对话,只看到你发的 state |
| 3 | 共享状态的独立问题进同一请求 | 上下文只发一次,问题互不依赖 |
| 4 | 独立请求用有界并发 | 主机负责调度,限制同时在途请求数 |
| 5 | 按 ID 收集结果,保留不确定项 | 不按到达顺序,不静默丢弃 |
| 6 | 大批量前先跑小样本 | smoke_test 约 30 条,先验证再放量 |
实践一:提供足够的上下文,而不是最大的上下文
官方文档 skills/jev/references/pitfalls.md 把这条列为头号误区。Jev 已知的模型局限之一就是容易被干扰性上下文带偏,所以"富上下文"指的是相关证据,不是未经过滤的转写。
一份好的证据包长这样:
| 太少了 | 更好的证据包 | 仍然应该去掉 |
|---|---|---|
"还是坏的。紧急吗?" |
原始请求 + 受影响的流程 + 上次失败尝试 + 变通方案状态 + 截止时间 + 你的紧急程度标准 | 无关聊天、密钥、重复的工具输出 |
| 一行代码改动 | 需求 + 相关不变量 + diff + 原始测试回执 | 整个无关仓库 |
注意一个反直觉的点:不要为了凑 token 上限而砍掉决定性证据。如果证据确实很大,应该拆分任务或去检索相关内容,而不是把关键的那一轮对话删掉。
实践二:让每个 Jev 请求自包含
Jev 不会继承宿主 agent 的对话、文件、浏览器或历史 API 调用——它只看到你这次请求里发的 state 和问题。参考 skills/jev/references/context-and-throughput.md,每个请求的 state 应该包含:
- 目标:用户目标、当前子任务、验收标准
- 规则:策略、标签定义、评分锚点、允许的范围
- 证据:原文段落、当前记录、真实的工具回执和报错
- 会改变答案的历史:之前的消息、失败的恢复尝试、未解决的依赖
- 候选项:真实的动作/记录 ID 加描述性含义,并保留一个兜底项
- 新鲜度与缺口:观察的版本、来源 ID、拿不到的事实
另外,把可信指令和不可信内容分开存放,并删除密钥和无关细节。最小请求结构只有三个字段:{ "model", "state", "questions" },对应 CLI 入口 skills/jev/scripts/jev.py。
实践三:共享状态的独立问题放进同一个请求
Jev 支持在一次请求里问多个问题,所有问题独立地对着同一份 state 评估,共享上下文只传输一次。三种判断原语各有分工(下图来自项目内置的图解):
项目提供了一个现成的批量模板 skills/jev/assets/batch-triage.json:一份共享的支持工单策略 + 2 条工单记录,每条记录 3 个独立问题(分类、是否需要账户复核、紧急度),共 6 个问题一次请求完成。
两个关键约束:
- 问题之间读不到彼此的答案——所以"先选段落、再判断保留集是否充分"这类依赖关系,必须等前一步结果回来后再发下一个请求;
- 往同一请求里塞无关记录会改变
state,这不是"加问题",而是换了实验。相关记录共享规则时可以用有界分组,但调组大小时要检查跨记录污染。
选择哪种结构可以参考:一份文档的多个独立检查 → 同一请求多问题;相关记录共享规则 → 有界分组;大量互不相关的大记录 → 各自独立请求 + 有界并发。
实践四:独立请求用有界并发,而不是无限制开线程
跨请求的并发由你的宿主代码负责——CLI 每次只处理一个请求,没有并行调度器,也没有自动重试。官方建议的做法(context-pilot 实验正是这么跑的:固定种子 22、4 个 worker):
- 选一个在提供商限制内能保留必要上下文的分组大小;
- 为每个请求、记录、问题分配稳定 ID,问题指令里写明确切记录路径(ID 本身不是指令);
- 用有界的 worker 池跑独立请求,尊重限流,并设好成本/时间预算;
- 按 ID 收集结果(见实践五);
- 在执行移动消息、调用工具等副作用前,先应用宿主侧的独立规则——并发判断不等于动作可以互相不受约束。
对比基线也要正确:把串行提问、同一请求原生批量、有界并发请求三种方式在同一工作负载上比较,记录整任务的墙钟时间、记录/秒、p50/p95、总成本、失败数和判断准确率。注意:官方速度对比是"串行单问题耗时之和",不是并发基准;上下文更多也意味着输入 token 更多。
实践五:按记录 ID 收集结果,保留"不确定"项
并发结果到达的顺序是随机的,所以:
- 按 ID 收集,而不是按到达顺序——每个问题指令里写明它属于哪条记录;
- 失败和不确定项保留到审查队列,不要静默丢弃,也不要因为部分失败就重跑整个已成功批次;
- 截断、缺失或格式错误的输出是错误,不是标签,要与"模型不确定"区分开。
项目里 skills/jev-triage/SKILL.md 要求批量分诊返回一张可审查的表:记录 ID、类别、紧急度、不确定度和下一步消费者,并且让 other/证据缺失的记录始终可见。完整实验数据可以在 docs/experiments/context-pilot/scores.json 里审计全部 40 次运行的分数。
实践六:大批量之前,先跑 30 条左右的小样本
skills/jev-triage/references/smoke-test.md 建议:对大标注任务默认开启 smoke_test,让宿主 agent 为你的数据写一段任务专属的采样 + 有界并发代码,先跑约 30 条代表性记录(包含长对话、少数类、边界样本和缺失证据,而不只是最容易的前几行),再决定是否放量。
项目里有一个真实的小样本记录可供参考(evals/FOLLOWUP_VALIDATION.md):24 条合成工单,Jev 与 24/24 预期标签一致,对比模型 23/24,两者在 23/24 上一致,总成本约 $0.0011。注意它的诚实边界:小样本通过 ≠ 生产准确率,也不授权全量批次。
⚠️ 常见误区速查表
来自 skills/jev/references/pitfalls.md 的高频陷阱:
| 常见陷阱 | 更好的做法 |
|---|---|
| 反复重跑直到答案"看起来对" | 先定好预算和规则;保留每个答案,而不是只留最高概率 |
| 把 3 次一致调用当成 3 个独立证据 | 重复性判断衡量的是稳定性,准确率要对照独立标签 |
| 只问一句模糊的"安全且完成了吗?" | 把结果、证据充分性、具体规则拆成独立问题 |
| 只发最后一句话或 agent 的结论 | 包含目标、来源回执、决定性历史、候选含义和缺口 |
| 整个对话/仓库整段粘贴 | 保留决定性证据,过滤无关和重复内容 |
| 每次请求塞满记录数 | 区分共享状态问题与混合记录批次,用带标签的批次大小对比 |
| 数值超过 0.9 就自动执行 | 区分概率、置信度与分数;先本地校准,权限仍归宿主 |
🔎 延伸阅读
- 上下文与吞吐的完整指南:skills/jev/references/context-and-throughput.md
- 审查上下文相关性(保留/裁剪判断):skills/jev/references/context.md
- 坑位清单(重复判断、概率与权限):skills/jev/references/pitfalls.md
- 上下文消融实验报告:docs/experiments/context-pilot/README.md
- 批量分诊技能入口:skills/jev-triage/SKILL.md
- 108 个场景与 5 个技能的总览:README.md
一句话总结:让每个请求自包含、证据够而不多、独立问题同请求批量、独立请求有界并发、按 ID 收结果、放量前先跑小样本——把省下的时间和成本,花在真正需要人看的"不确定"上。


