不训练、不标注,冲进公开排行榜前 5:AnyJev L0 拿下 Decision Index 60.22 分全解析
不训练、不标注,冲进公开排行榜前 5:AnyJev L0 拿下 Decision Index 60.22 分全解析
AnyJev 是一个开源的 LLM 决策模型框架:它把任意大语言模型(LLM)变成能输出"类型化决策 + 真实概率"的引擎,全程免训练、零标注。它的免训练路线 Decider(L0 档位),仅用原版 Gemma-4-31B,就在公开排行榜 Decision Index 0.3 上拿到总分 60.22,在 149 个条目中排第 5(2026-10-12)。这篇文章面向新手,讲清楚这个分数是怎么来的、L0 到底做了什么、为什么"不训练"反而更稳。
🤔 先看一个反直觉的坑:直接读 LLM 的"下一词概率"
很多人会想到一个偷懒办法:让模型生成答案,再看它对各个候选词的下一词概率(logits),取最大的那个当答案。这招叫 raw 直读,问题有两个:
- 顺序偏差:把选项顺序一颠倒,答案就跟着变。同一个问题、同一个模型,只因选项排列不同,结论就翻转了。
- 标签偏好:模型天生偏爱某些词(比如字母里靠前的、更"顺口"的),概率分布里混进了跟问题无关的偏见。
在 BANKING77(20 个意图分类)上,raw 直读把选项倒过来,23% 的答案会翻转——这在生产里是不可接受的。
🔧 L0 是怎么做的:三步,一条标签都不碰
AnyJev 的 L0 只用两招就把上面两个坑填平,而且完全不需要标注数据:
- 类型化提问:问题分三种——单选
choice、是非noul、打分score。模型被要求"在答案该出现的位置停下",然后只读那几个标签 token 的概率,不生成、不解析任何文本。 - 选项轮换平均:对一个 K 选项的问题,L0 把选项做 K 次循环移位,让每个选项轮流坐在每个位置上,把各次读出的概率在对数空间里合并。位置偏差就这样被平均掉了。
- 除掉标签先验:模型对某些标签的固有偏好,用一个"无标签运行先验"估计出来并除掉。默认用当前批次里正在被决策的那些状态来估,连探针都不用。
💡 下面这张动图演示的就是"翻转"这件事:同一个模型、同一句话,左边 raw 直读在选项顺序变化时答案会变,右边 AnyJev L0 两种顺序给出同一个答案。每个数字都是真实模型输出。
核心实现都在哪里
| 模块 | 作用 | 路径 |
|---|---|---|
| 决策主流程(raw / L0) | 从"(状态, 问题)"到带档位的决策 | anyjev/decider.py |
| 类型化问题(choice/noul/score) | 定义三种决策原语 | anyjev/question.py |
| 轮换与对数合并 | cyclic_shifts / marginalize / spread_order |
anyjev/calibrate/permute.py |
| 无标签先验校正 | 批次先验 / 内容无关探针 | anyjev/calibrate/contextual.py |
| 档位约定(raw / L0 / Tacit 路线) | 每个答案承诺了什么 | docs/levels.md |
📊 raw 直读 vs L0:同一模型,差距在哪
同样用 Qwen3-8B 跑 BANKING77(20 类,300 条测试样本),唯一区别是"读法":
| 指标 | ⚪ raw 直读 | 🔵 L0(零标签) |
|---|---|---|
| 需要的标签 | 无 | 无 |
| 选项倒序后答案翻转率 | 0.230 | 0.073 |
| 准确率 | 0.747 | 0.803 |
| 校准误差(ECE) | 0.240 | 0.184 |
| ≤5% 错误率下可自动决策的比例 | 7.7% | 46.3% |
最后一行最要紧:准确率只涨了 6 个点,但置信度足以在 ≤5% 错误率下自动处理的决策,从 7.7% 飙到 46.3%——而且一条标签都没用。对做自动化决策的人来说,这才是真正值钱的东西。
🏆 Decision Index 0.3 上的 60.22 是怎么来的
这是全文的核心成绩。Decider 跑在未做任何改动的 google/gemma-4-31B-it 上:不训练、不用标签,每个决策只读 2 次轮换。
| 总分 | 公开部分(20%) | 同技能私有测试(50%) | 新领域私有测试(30%) | 延迟 中位 / 平均 / p95 |
|---|---|---|---|---|
| 60.22 | 59.79 | 59.13 | 52.98 | 98 / 260 / 1,080 ms |
几个值得注意的细节:
- 私有部分由排行榜维护者亲自测:两张"看不见"的私有卷占总分 80%(50% + 30%),是维护者在单进程、一张 RTX PRO 6000 上跑的,不是作者自报。
- 延迟很能打:中位延迟仅 98 毫秒,意味着 L0 的"少量几次前向"在读法上就足够轻。
- 服务栈:用
vllm serve --quantization fp8(vLLM 0.29.0)起服务,库版本 anyjev 0.3.0。 - 完整成绩原始数据在这里:bench/results_decision_index/2026-10-12/anyjev-l0-gemma-4-31b.json
⚠️ 分数不是天上掉的:维护者在排行榜的备注里点出两个技术事实——"不训练:提示词 + 受限标签读法 + 轮换平均 + 无标签运行先验",以及"FP8 动态量化,决策一致性 98.18%(门槛 96%)"。也就是说,这个成绩本身就是一份可复现的工程说明。
⚡ 怎么把它跑起来:两条路线
AnyJev 有两条路,按"要不要训练"分:
① 免训练(Decider,本文主角) —— 任意开源因果 LLM 都能用,一行 Decider(HFBackend("Qwen/Qwen3-8B")) 就能读出 L0 决策。想进一步省钱,可打开旋转预算:只读"决策真正需要"的轮换次数,平均 18 次降到 7.2 次,vLLM 上吞吐 2.2×,准确率不变。详见 docs/rotation_budget.zh-CN.md。
from anyjev import Decider, Question
from anyjev.backends.hf import HFBackend
d = Decider(HFBackend("Qwen/Qwen3-8B")) # 默认 level="L0"
route = Question.choice("这条工单该由哪个团队处理?",
["账单", "技术", "销售", "其他"], name="route")
r = d.decide("同一笔订单我的卡被扣了两次钱。", [route])["route"]
r.distribution, r.level # {选项: 概率}、"L0"
② 自蒸馏(Tacit) —— 已发布的 Tacit-1.7B / 2B / 4B / 8B / 9B 模型,学会"一次前向就给出它推理后才会得到的答案",不用人工标签也不用教师模型。打开 adaptive=True 后,一部分低置信决策会有上限地转去推理,兼顾速度与难度。
from anyjev import Tacit
tacit = Tacit.from_pretrained("morriszjm/Tacit-9B", adaptive=True)
d = tacit.decide(state="...", question="What does the customer want?",
options=["track_order", "cancel_order", "refund", "change_address"])
d["answer"], d["probs"], d["route"] # 选项、{选项: 概率}、"one_forward" 或 "cot"
两条路线的取舍、每个档位"承诺"什么,完整写在 docs/levels.md。
📌 诚实的边界:它不能做什么
- 精度受限于基座模型:读法能去掉顺序和标签偏见,但补不上模型本身没有的知识。
- 选项数上限 26(字母读法),更多需要 span 读法(路线图上)。
- 批次先验在"某标签占绝对多数"的批次里会掉点,可切到
prior="content_free"或prior="none"。 - 每个决策都是孤立打分,尚未放进真实 agent 循环里评测。
完整清单见 docs/limitations.zh-CN.md。
🧭 小结:为什么这个成绩值得看
AnyJev L0 的故事不是"又一个大模型刷榜",而是读法的胜利:
- 它不训练、不标注,只用"选项轮换 + 无标签先验校正"把 raw 直读的两个硬伤填平;
- 在公开 Decision Index 0.3 上,仅靠原版 Gemma-4-31B + 两次轮换拿到 60.22、前 5 名;
- 更关键的是它产出的不是"答案",而是带概率、带档位、可阈值化的决策——这才是能直接进生产决策系统的形态。
仓库持续更新,欢迎提 issue 和 PR。想深入实现,从 anyjev/decider.py 和 docs/levels.md 入手最快;想看完整变更,读 CHANGELOG.md。


