AnyJev 的「等级与路由」契约详解:raw 与 L0、one_forward 与 cot 各承诺了什么(API 参考)

原创2026-10-13 21:14:122,161 阅读

AnyJev 的「等级与路由」契约详解:raw 与 L0、one_forward 与 cot 各承诺了什么(API 参考)

AnyJev 是一个把任意 LLM 变成“类型化决策 + 真实概率”决策模型的开源项目,无需训练。它的 API 用一套「等级与路由」契约标注每个答案的来路:Decider 的结果带 level(raw 或 L0),Tacit 的决策带 route(one_forward 或 cot),下游代码可以先查凭证再行动。本文按 API 参考的方式,讲清四种等级/路由各自承诺了什么、不承诺什么,以及如何用 require="L0" 强制执行。

AnyJev 等级与路由效果总览:raw 到 L0 后答案翻转率、准确率与自动可决策比例的变化

🧾 契约总览:4 种答案,4 种凭证

AnyJev 的答案只有 4 种“凭证”,每条入口对应一种:

等级 / 路由 需要什么 做什么 不做什么
raw 什么都不需要 一次 prompt,softmax 只限制在选项标签上 不修正位置偏差与标签先验
L0(Decider 默认) 什么都不需要 以 K 个循环轮换读取选项、log 空间合并、除掉无标签估计的标签先验 不针对标签校准置信度
Tacit one_forward Tacit 检查点 一次 prompt、一次 prefill 作答,读法同 raw 不修正顺序偏差(按给定顺序读取)
Tacit cot adaptive=True 先推理,再在读完思考后按同一方式读取标签分布 不突破 max_cot_share 上限

贯穿全文的两条规则:Decider 的每个 Decision 携带 level,Tacit 的每个决策携带 route,契约文档见 docs/levels.md。

🔎 raw 与 L0:Decider 的两个等级

raw 承诺了什么:最低成本,但不修正偏差

raw 就是单次 prompt:把模型在选项标签 token 上的下一 token 对数概率做 softmax 归一化。不生成、不解析、不需要标签——但也不修正两类系统性偏差:模型对某些位置的偏好(位置偏差),以及对某些标签的偏好(标签先验)。典型症状是调换选项顺序后答案会翻转。

AnyJev 等级与路由对比演示:raw logits 在选项顺序反转时答案翻转,L0 两种方式给出相同答案

在 Qwen3-8B 上(BANKING77、20 路选项、300 条测试,数据来源):

指标 raw L0
选项顺序反转后的答案翻转率 0.230 0.073
准确率 0.747 0.803
校准误差(ECE) 0.240 0.184
5% 误差内可自动决策的比例 7.7% 46.3%

L0 承诺了什么:零标签消除两类偏差

L0 是 Decider 的默认等级,做三件事(实现见 anyjev/decider.py):

  1. 轮换:K 个选项读取 K 个循环轮换,每个选项在每个位置都出现一次,把位置偏差平均掉;
  2. log 空间合并:各轮换的分布在 log 空间组合,避免小概率被淹没;
  3. 除标签先验:默认 prior="batch"(强度 0.75,从 8 个样本起生效),用当前批次估计标签先验;可换成 prior="content_free"(探测输入)或 prior="none"(关闭),估计与修正逻辑在 anyjev/calibrate/contextual.py。

AnyJev 决策读取流程图解:Ask、Shift、Correct、Decide 四步从 logits 到带等级决策

L0 的边界同样明确:它不针对标签校准置信度(全程不用任何标签),所以拿到的是“去偏后的概率”,而不是对统计意义上的校准保证。

L0 成本优化:rotation budget

完整 L0 对 K 路选项要花 K 次 prefill。开启 Decider(adaptive_shifts=True, canonical_order=True) 并用 calibrate_adaptive(question, unlabelled_states, target=0.01) 校准后,可以“领先者足够领先就提前停”,且阈值是对着自己全周期答案校准的——不需要标签。实测在 Qwen2.5-7B 的 18 路路由任务上,平均只读 7.2 次轮换(而非 18 次),吞吐在 vLLM 上约 2.2×、transformers 上约 2.3×–2.7×,准确率不变,推导与数据见 docs/rotation_budget.md(中文版 docs/rotation_budget.zh-CN.md)。

🚦 one_forward 与 cot:Tacit 的两条路由

Tacit 是自蒸馏检查点系列(1.7B–9B),Tacit.decide 返回一个 dict,始终带 route 字段:

字段 含义
answer、index 选中的选项及其在 options 中的位置
probs 每个选项的概率(和为 1)
margin 前两名选项的 log 概率差
route "one_forward" 或 "cot"
first_pass、reasoning_tokens 仅 cot 决策:被替换掉的单次前向答案、推理长度
路由 何时 怎么读
one_forward 总是(除非被升级) 用训练时的 prompt 做一次 prefill,选项按给定顺序,读法同 raw
cot adaptive=True 且 margin < tau 且未超上限 模型带 thinking 推理,思考结束后追加 Answer: 并按同一方式读取标签分布,因此升级后的决策同样有概率

cot 的三点关键承诺(实现见 anyjev/tacit.py):

  • 升级条件:默认 tau=0.5,只有前两名 log 概率差小于 tau 的决策才会带思考重问一次;
  • 硬上限:最近 cot_window(默认 1000)个决策中,至多 max_cot_share(默认 20%)会被升级,向上取整;一个 Tacit 实例或一个 python -m anyjev.serve 网关在线程/客户端间共享同一个上限,触顶后低置信决策保留 one_forward 答案;
  • 代价:上限约束的是“多少个”升级,不是“一次多久”——单个升级决策会生成至多 cot_max_tokens(默认 8192)的推理轨迹,耗时是秒级。

升级比例可以用 tacit.stats 查看(decisions、escalated、cot_share、window_cot_share);HTTP 网关通过 GET /v1/stats 暴露同样信息,见 anyjev/serve.py。

⚙️ 如何强制执行契约:require="L0" 与 LevelError

等级契约不是口号,而是代码里可校验的。LEVEL_ORDER = {"raw": 0, "L0": 1},决策等级低于要求时抛出 LevelError(见 anyjev/result.py):

# 决策时直接强制:达不到 L0 立刻抛 LevelError
r = d.decide(state, [route], require="L0")

# 或在事后校验,行为相同
r.require("L0")

使用场景很直白:凡是“不能拿未修正的 raw 概率行动”的下游逻辑,写一句 require="L0" 就能把契约变成运行时行为。

注意:LevelError 只存在于 Decider 一侧;Tacit 一侧不用异常表达强度差异,而是用 route 字段告诉你“这个答案走过推理”。

📌 边界条件与常见坑

  • raw 不修正偏差:如果答案依赖选项书写顺序,先换 L0,再谈调 prompt;
  • 批次先验怕标签偏斜:一个批次被某个选项主导时,prior="batch" 会损失准确率,此时用 prior="content_free" 或 prior="none";
  • one_forward 按给定顺序读取:不做轮换平均。需要轮换平均的读法,可对 Tacit 检查点用 Decider(level="L0")(K 次 prefill);
  • vLLM 上标签取自 top-20 log-probs:不在 top 20 内的标签计为概率 0;
  • 0.3.0 移除了依赖标签训练的等级:旧版 L1/L2 仅存在于 anyjev==0.2.0;
  • 选项数量:choice 问题最多 26 个选项(字母读法上限)。

完整限制清单见 docs/limitations.md(中文版 docs/limitations.zh-CN.md)。

🗂️ 相关资料索引

内容 路径
契约完整文档 docs/levels.md
轮换预算推导与实测 docs/rotation_budget.md
等级、LevelError 与 require 实现 anyjev/result.py
raw / L0 读取管线 anyjev/decider.py
无标签先验估计与修正 anyjev/calibrate/contextual.py
one_forward / cot 实现 anyjev/tacit.py
HTTP 网关(共享上限、/v1/stats) anyjev/serve.py
raw 与 L0 实测数据 bench/results_v01/2026-09-22/Qwen__Qwen3-8B.json

一句话总结

raw 承诺“最低成本、未修正”;L0 承诺“零标签消除两类偏差,但不针对标签校准”;one_forward 承诺“一次 prefill 作答、按给定顺序读取”;cot 承诺“margin 低才升级、且永不突破上限”。每个答案自带凭证,下游代码只需检查 level 或 route,就能决定要不要信任它。

登录后查看全文
AnyJev