AnyJev 的「等级与路由」契约详解:raw 与 L0、one_forward 与 cot 各承诺了什么(API 参考)
AnyJev 的「等级与路由」契约详解:raw 与 L0、one_forward 与 cot 各承诺了什么(API 参考)
AnyJev 是一个把任意 LLM 变成“类型化决策 + 真实概率”决策模型的开源项目,无需训练。它的 API 用一套「等级与路由」契约标注每个答案的来路:Decider 的结果带 level(raw 或 L0),Tacit 的决策带 route(one_forward 或 cot),下游代码可以先查凭证再行动。本文按 API 参考的方式,讲清四种等级/路由各自承诺了什么、不承诺什么,以及如何用 require="L0" 强制执行。
🧾 契约总览:4 种答案,4 种凭证
AnyJev 的答案只有 4 种“凭证”,每条入口对应一种:
| 等级 / 路由 | 需要什么 | 做什么 | 不做什么 |
|---|---|---|---|
raw |
什么都不需要 | 一次 prompt,softmax 只限制在选项标签上 | 不修正位置偏差与标签先验 |
L0(Decider 默认) |
什么都不需要 | 以 K 个循环轮换读取选项、log 空间合并、除掉无标签估计的标签先验 | 不针对标签校准置信度 |
Tacit one_forward |
Tacit 检查点 | 一次 prompt、一次 prefill 作答,读法同 raw |
不修正顺序偏差(按给定顺序读取) |
Tacit cot |
adaptive=True |
先推理,再在读完思考后按同一方式读取标签分布 | 不突破 max_cot_share 上限 |
贯穿全文的两条规则:Decider 的每个 Decision 携带 level,Tacit 的每个决策携带 route,契约文档见 docs/levels.md。
🔎 raw 与 L0:Decider 的两个等级
raw 承诺了什么:最低成本,但不修正偏差
raw 就是单次 prompt:把模型在选项标签 token 上的下一 token 对数概率做 softmax 归一化。不生成、不解析、不需要标签——但也不修正两类系统性偏差:模型对某些位置的偏好(位置偏差),以及对某些标签的偏好(标签先验)。典型症状是调换选项顺序后答案会翻转。
在 Qwen3-8B 上(BANKING77、20 路选项、300 条测试,数据来源):
| 指标 | raw | L0 |
|---|---|---|
| 选项顺序反转后的答案翻转率 | 0.230 | 0.073 |
| 准确率 | 0.747 | 0.803 |
| 校准误差(ECE) | 0.240 | 0.184 |
| 5% 误差内可自动决策的比例 | 7.7% | 46.3% |
L0 承诺了什么:零标签消除两类偏差
L0 是 Decider 的默认等级,做三件事(实现见 anyjev/decider.py):
- 轮换:K 个选项读取 K 个循环轮换,每个选项在每个位置都出现一次,把位置偏差平均掉;
- log 空间合并:各轮换的分布在 log 空间组合,避免小概率被淹没;
- 除标签先验:默认
prior="batch"(强度 0.75,从 8 个样本起生效),用当前批次估计标签先验;可换成prior="content_free"(探测输入)或prior="none"(关闭),估计与修正逻辑在 anyjev/calibrate/contextual.py。
L0 的边界同样明确:它不针对标签校准置信度(全程不用任何标签),所以拿到的是“去偏后的概率”,而不是对统计意义上的校准保证。
L0 成本优化:rotation budget
完整 L0 对 K 路选项要花 K 次 prefill。开启 Decider(adaptive_shifts=True, canonical_order=True) 并用 calibrate_adaptive(question, unlabelled_states, target=0.01) 校准后,可以“领先者足够领先就提前停”,且阈值是对着自己全周期答案校准的——不需要标签。实测在 Qwen2.5-7B 的 18 路路由任务上,平均只读 7.2 次轮换(而非 18 次),吞吐在 vLLM 上约 2.2×、transformers 上约 2.3×–2.7×,准确率不变,推导与数据见 docs/rotation_budget.md(中文版 docs/rotation_budget.zh-CN.md)。
🚦 one_forward 与 cot:Tacit 的两条路由
Tacit 是自蒸馏检查点系列(1.7B–9B),Tacit.decide 返回一个 dict,始终带 route 字段:
| 字段 | 含义 |
|---|---|
answer、index |
选中的选项及其在 options 中的位置 |
probs |
每个选项的概率(和为 1) |
margin |
前两名选项的 log 概率差 |
route |
"one_forward" 或 "cot" |
first_pass、reasoning_tokens |
仅 cot 决策:被替换掉的单次前向答案、推理长度 |
| 路由 | 何时 | 怎么读 |
|---|---|---|
one_forward |
总是(除非被升级) | 用训练时的 prompt 做一次 prefill,选项按给定顺序,读法同 raw |
cot |
adaptive=True 且 margin < tau 且未超上限 |
模型带 thinking 推理,思考结束后追加 Answer: 并按同一方式读取标签分布,因此升级后的决策同样有概率 |
cot 的三点关键承诺(实现见 anyjev/tacit.py):
- 升级条件:默认
tau=0.5,只有前两名 log 概率差小于tau的决策才会带思考重问一次; - 硬上限:最近
cot_window(默认 1000)个决策中,至多max_cot_share(默认 20%)会被升级,向上取整;一个 Tacit 实例或一个python -m anyjev.serve网关在线程/客户端间共享同一个上限,触顶后低置信决策保留one_forward答案; - 代价:上限约束的是“多少个”升级,不是“一次多久”——单个升级决策会生成至多
cot_max_tokens(默认 8192)的推理轨迹,耗时是秒级。
升级比例可以用 tacit.stats 查看(decisions、escalated、cot_share、window_cot_share);HTTP 网关通过 GET /v1/stats 暴露同样信息,见 anyjev/serve.py。
⚙️ 如何强制执行契约:require="L0" 与 LevelError
等级契约不是口号,而是代码里可校验的。LEVEL_ORDER = {"raw": 0, "L0": 1},决策等级低于要求时抛出 LevelError(见 anyjev/result.py):
# 决策时直接强制:达不到 L0 立刻抛 LevelError
r = d.decide(state, [route], require="L0")
# 或在事后校验,行为相同
r.require("L0")
使用场景很直白:凡是“不能拿未修正的 raw 概率行动”的下游逻辑,写一句 require="L0" 就能把契约变成运行时行为。
注意:LevelError 只存在于 Decider 一侧;Tacit 一侧不用异常表达强度差异,而是用 route 字段告诉你“这个答案走过推理”。
📌 边界条件与常见坑
raw不修正偏差:如果答案依赖选项书写顺序,先换 L0,再谈调 prompt;- 批次先验怕标签偏斜:一个批次被某个选项主导时,
prior="batch"会损失准确率,此时用prior="content_free"或prior="none"; one_forward按给定顺序读取:不做轮换平均。需要轮换平均的读法,可对 Tacit 检查点用Decider(level="L0")(K 次 prefill);- vLLM 上标签取自 top-20 log-probs:不在 top 20 内的标签计为概率 0;
- 0.3.0 移除了依赖标签训练的等级:旧版
L1/L2仅存在于anyjev==0.2.0; - 选项数量:
choice问题最多 26 个选项(字母读法上限)。
完整限制清单见 docs/limitations.md(中文版 docs/limitations.zh-CN.md)。
🗂️ 相关资料索引
| 内容 | 路径 |
|---|---|
| 契约完整文档 | docs/levels.md |
| 轮换预算推导与实测 | docs/rotation_budget.md |
| 等级、LevelError 与 require 实现 | anyjev/result.py |
| raw / L0 读取管线 | anyjev/decider.py |
| 无标签先验估计与修正 | anyjev/calibrate/contextual.py |
| one_forward / cot 实现 | anyjev/tacit.py |
| HTTP 网关(共享上限、/v1/stats) | anyjev/serve.py |
| raw 与 L0 实测数据 | bench/results_v01/2026-09-22/Qwen__Qwen3-8B.json |
一句话总结
raw 承诺“最低成本、未修正”;L0 承诺“零标签消除两类偏差,但不针对标签校准”;one_forward 承诺“一次 prefill 作答、按给定顺序读取”;cot 承诺“margin 低才升级、且永不突破上限”。每个答案自带凭证,下游代码只需检查 level 或 route,就能决定要不要信任它。


