上下文不是越多越好:jev-skill 批量判断与并发调用的 6 条最佳实践

原创2026-11-06 13:37:531,878 阅读

上下文不是越多越好:jev-skill 批量判断与并发调用的 6 条最佳实践

jev-skill 是一个开源的 Jev 用例、工作流与 agent skills 集合,专门用来把重复的 LLM 分类、打分和路由判断替换成又快又省的批量判断与并发调用。很多新手的第一个直觉是"上下文越多越好",但项目里一次 40 次真实调用的实验给出了不同答案:更多证据能带来更多可判断的结果,却不等于更高的准确率。本文面向新手,提炼 6 条可以直接落地的最佳实践,帮你把上下文管理、批量判断和并发调用做对。

🧪 先说结论:一次 40 次真实调用的实验

在 docs/experiments/context-pilot/ 中,作者用 OpenRouter 对 20 个合成案例各发了"短证据"和"长证据"两个版本,共 40 次独立请求、不重试、不丢弃任何输出。结果很有代表性:

指标 短证据 长证据
与预期标签一致 20/20 (100%) 19/20 (95%)
回答 unknown 15/20 4/20
通过 CLI 阈值被选定 5/20 15/20

jev-skill 并发调用演示:Jev 决策引擎对每个候选动作给出概率分布,单次决策耗时约 0.46 秒

三个要点:

  • 更多证据让"可决策"变多:10 个拿到决定性证据的案例全部从 unknown 变成了正确答案;
  • 但准确率没有变高,长证据组反而有 1 例分歧(0.82 概率的 contradicted,实际预期是 unknown);
  • 全量请求成本仅 $0.00078、18,668 个输入 token,单次请求中位耗时约 0.45 秒——低延迟是"用并发换时间"的基础。

所以正确的心智模型是:给"足够"的证据,让问题可判断;而不是把整个对话或整个仓库塞进去。

📋 批量判断 6 条最佳实践速览

# 实践 一句话
1 提供足够而非最大的上下文 保留决定性证据,删掉无关内容
2 让每个请求自包含 Jev 看不到你的对话,只看到你发的 state
3 共享状态的独立问题进同一请求 上下文只发一次,问题互不依赖
4 独立请求用有界并发 主机负责调度,限制同时在途请求数
5 按 ID 收集结果,保留不确定项 不按到达顺序,不静默丢弃
6 大批量前先跑小样本 smoke_test 约 30 条,先验证再放量

实践一:提供足够的上下文,而不是最大的上下文

官方文档 skills/jev/references/pitfalls.md 把这条列为头号误区。Jev 已知的模型局限之一就是容易被干扰性上下文带偏,所以"富上下文"指的是相关证据,不是未经过滤的转写。

一份好的证据包长这样:

太少了 更好的证据包 仍然应该去掉
"还是坏的。紧急吗?" 原始请求 + 受影响的流程 + 上次失败尝试 + 变通方案状态 + 截止时间 + 你的紧急程度标准 无关聊天、密钥、重复的工具输出
一行代码改动 需求 + 相关不变量 + diff + 原始测试回执 整个无关仓库

注意一个反直觉的点:不要为了凑 token 上限而砍掉决定性证据。如果证据确实很大,应该拆分任务或去检索相关内容,而不是把关键的那一轮对话删掉。

实践二:让每个 Jev 请求自包含

Jev 不会继承宿主 agent 的对话、文件、浏览器或历史 API 调用——它只看到你这次请求里发的 state 和问题。参考 skills/jev/references/context-and-throughput.md,每个请求的 state 应该包含:

  • 目标:用户目标、当前子任务、验收标准
  • 规则:策略、标签定义、评分锚点、允许的范围
  • 证据:原文段落、当前记录、真实的工具回执和报错
  • 会改变答案的历史:之前的消息、失败的恢复尝试、未解决的依赖
  • 候选项:真实的动作/记录 ID 加描述性含义,并保留一个兜底项
  • 新鲜度与缺口:观察的版本、来源 ID、拿不到的事实

另外,把可信指令和不可信内容分开存放,并删除密钥和无关细节。最小请求结构只有三个字段:{ "model", "state", "questions" },对应 CLI 入口 skills/jev/scripts/jev.py。

实践三:共享状态的独立问题放进同一个请求

Jev 支持在一次请求里问多个问题,所有问题独立地对着同一份 state 评估,共享上下文只传输一次。三种判断原语各有分工(下图来自项目内置的图解):

jev-skill 批量判断的三种原语:Noul 回答是非问题、Choice 从已知选项里选、Score 按标尺打分

项目提供了一个现成的批量模板 skills/jev/assets/batch-triage.json:一份共享的支持工单策略 + 2 条工单记录,每条记录 3 个独立问题(分类、是否需要账户复核、紧急度),共 6 个问题一次请求完成。

两个关键约束:

  1. 问题之间读不到彼此的答案——所以"先选段落、再判断保留集是否充分"这类依赖关系,必须等前一步结果回来后再发下一个请求;
  2. 往同一请求里塞无关记录会改变 state,这不是"加问题",而是换了实验。相关记录共享规则时可以用有界分组,但调组大小时要检查跨记录污染。

选择哪种结构可以参考:一份文档的多个独立检查 → 同一请求多问题;相关记录共享规则 → 有界分组;大量互不相关的大记录 → 各自独立请求 + 有界并发。

实践四:独立请求用有界并发,而不是无限制开线程

跨请求的并发由你的宿主代码负责——CLI 每次只处理一个请求,没有并行调度器,也没有自动重试。官方建议的做法(context-pilot 实验正是这么跑的:固定种子 22、4 个 worker):

  1. 选一个在提供商限制内能保留必要上下文的分组大小;
  2. 为每个请求、记录、问题分配稳定 ID,问题指令里写明确切记录路径(ID 本身不是指令);
  3. 用有界的 worker 池跑独立请求,尊重限流,并设好成本/时间预算;
  4. 按 ID 收集结果(见实践五);
  5. 在执行移动消息、调用工具等副作用前,先应用宿主侧的独立规则——并发判断不等于动作可以互相不受约束。

对比基线也要正确:把串行提问、同一请求原生批量、有界并发请求三种方式在同一工作负载上比较,记录整任务的墙钟时间、记录/秒、p50/p95、总成本、失败数和判断准确率。注意:官方速度对比是"串行单问题耗时之和",不是并发基准;上下文更多也意味着输入 token 更多。

jev-skill 批量判断示例:Jev Review 看板对多个文件按优先级打分,形成可审查的队列

实践五:按记录 ID 收集结果,保留"不确定"项

并发结果到达的顺序是随机的,所以:

  • 按 ID 收集,而不是按到达顺序——每个问题指令里写明它属于哪条记录;
  • 失败和不确定项保留到审查队列,不要静默丢弃,也不要因为部分失败就重跑整个已成功批次;
  • 截断、缺失或格式错误的输出是错误,不是标签,要与"模型不确定"区分开。

项目里 skills/jev-triage/SKILL.md 要求批量分诊返回一张可审查的表:记录 ID、类别、紧急度、不确定度和下一步消费者,并且让 other/证据缺失的记录始终可见。完整实验数据可以在 docs/experiments/context-pilot/scores.json 里审计全部 40 次运行的分数。

实践六:大批量之前,先跑 30 条左右的小样本

skills/jev-triage/references/smoke-test.md 建议:对大标注任务默认开启 smoke_test,让宿主 agent 为你的数据写一段任务专属的采样 + 有界并发代码,先跑约 30 条代表性记录(包含长对话、少数类、边界样本和缺失证据,而不只是最容易的前几行),再决定是否放量。

项目里有一个真实的小样本记录可供参考(evals/FOLLOWUP_VALIDATION.md):24 条合成工单,Jev 与 24/24 预期标签一致,对比模型 23/24,两者在 23/24 上一致,总成本约 $0.0011。注意它的诚实边界:小样本通过 ≠ 生产准确率,也不授权全量批次。

⚠️ 常见误区速查表

来自 skills/jev/references/pitfalls.md 的高频陷阱:

常见陷阱 更好的做法
反复重跑直到答案"看起来对" 先定好预算和规则;保留每个答案,而不是只留最高概率
把 3 次一致调用当成 3 个独立证据 重复性判断衡量的是稳定性,准确率要对照独立标签
只问一句模糊的"安全且完成了吗?" 把结果、证据充分性、具体规则拆成独立问题
只发最后一句话或 agent 的结论 包含目标、来源回执、决定性历史、候选含义和缺口
整个对话/仓库整段粘贴 保留决定性证据,过滤无关和重复内容
每次请求塞满记录数 区分共享状态问题与混合记录批次,用带标签的批次大小对比
数值超过 0.9 就自动执行 区分概率、置信度与分数;先本地校准,权限仍归宿主

🔎 延伸阅读

一句话总结:让每个请求自包含、证据够而不多、独立问题同请求批量、独立请求有界并发、按 ID 收结果、放量前先跑小样本——把省下的时间和成本,花在真正需要人看的"不确定"上。

登录后查看全文
jev-skill