不训练、不标注,冲进公开排行榜前 5:AnyJev L0 拿下 Decision Index 60.22 分全解析

原创2026-10-13 22:03:39750 阅读

不训练、不标注,冲进公开排行榜前 5:AnyJev L0 拿下 Decision Index 60.22 分全解析

AnyJev 是一个开源的 LLM 决策模型框架:它把任意大语言模型(LLM)变成能输出"类型化决策 + 真实概率"的引擎,全程免训练、零标注。它的免训练路线 Decider(L0 档位),仅用原版 Gemma-4-31B,就在公开排行榜 Decision Index 0.3 上拿到总分 60.22,在 149 个条目中排第 5(2026-10-12)。这篇文章面向新手,讲清楚这个分数是怎么来的、L0 到底做了什么、为什么"不训练"反而更稳。

AnyJev 决策模型总览:直接读 logits 到 L0,零标签,翻转率 0.230 降到 0.073,准确率 0.747 升到 0.803

🤔 先看一个反直觉的坑:直接读 LLM 的"下一词概率"

很多人会想到一个偷懒办法:让模型生成答案,再看它对各个候选词的下一词概率(logits),取最大的那个当答案。这招叫 raw 直读,问题有两个:

  • 顺序偏差:把选项顺序一颠倒,答案就跟着变。同一个问题、同一个模型,只因选项排列不同,结论就翻转了。
  • 标签偏好:模型天生偏爱某些词(比如字母里靠前的、更"顺口"的),概率分布里混进了跟问题无关的偏见。

在 BANKING77(20 个意图分类)上,raw 直读把选项倒过来,23% 的答案会翻转——这在生产里是不可接受的。

🔧 L0 是怎么做的:三步,一条标签都不碰

AnyJev 的 L0 只用两招就把上面两个坑填平,而且完全不需要标注数据:

  1. 类型化提问:问题分三种——单选 choice、是非 noul、打分 score。模型被要求"在答案该出现的位置停下",然后只读那几个标签 token 的概率,不生成、不解析任何文本。
  2. 选项轮换平均:对一个 K 选项的问题,L0 把选项做 K 次循环移位,让每个选项轮流坐在每个位置上,把各次读出的概率在对数空间里合并。位置偏差就这样被平均掉了。
  3. 除掉标签先验:模型对某些标签的固有偏好,用一个"无标签运行先验"估计出来并除掉。默认用当前批次里正在被决策的那些状态来估,连探针都不用。

AnyJev 决策模型原理:四步从 logits 到可阈值化的决策——提问、轮换、校正、决策

💡 下面这张动图演示的就是"翻转"这件事:同一个模型、同一句话,左边 raw 直读在选项顺序变化时答案会变,右边 AnyJev L0 两种顺序给出同一个答案。每个数字都是真实模型输出。

AnyJev L0 选项顺序翻转演示:同一模型同一问题,raw logits 与 L0 两种顺序对比

核心实现都在哪里

模块 作用 路径
决策主流程(raw / L0) 从"(状态, 问题)"到带档位的决策 anyjev/decider.py
类型化问题(choice/noul/score) 定义三种决策原语 anyjev/question.py
轮换与对数合并 cyclic_shifts / marginalize / spread_order anyjev/calibrate/permute.py
无标签先验校正 批次先验 / 内容无关探针 anyjev/calibrate/contextual.py
档位约定(raw / L0 / Tacit 路线) 每个答案承诺了什么 docs/levels.md

📊 raw 直读 vs L0:同一模型,差距在哪

同样用 Qwen3-8B 跑 BANKING77(20 类,300 条测试样本),唯一区别是"读法":

指标 ⚪ raw 直读 🔵 L0(零标签)
需要的标签 无 无
选项倒序后答案翻转率 0.230 0.073
准确率 0.747 0.803
校准误差(ECE) 0.240 0.184
≤5% 错误率下可自动决策的比例 7.7% 46.3%

最后一行最要紧:准确率只涨了 6 个点,但置信度足以在 ≤5% 错误率下自动处理的决策,从 7.7% 飙到 46.3%——而且一条标签都没用。对做自动化决策的人来说,这才是真正值钱的东西。

🏆 Decision Index 0.3 上的 60.22 是怎么来的

这是全文的核心成绩。Decider 跑在未做任何改动的 google/gemma-4-31B-it 上:不训练、不用标签,每个决策只读 2 次轮换。

总分 公开部分(20%) 同技能私有测试(50%) 新领域私有测试(30%) 延迟 中位 / 平均 / p95
60.22 59.79 59.13 52.98 98 / 260 / 1,080 ms

几个值得注意的细节:

  • 私有部分由排行榜维护者亲自测:两张"看不见"的私有卷占总分 80%(50% + 30%),是维护者在单进程、一张 RTX PRO 6000 上跑的,不是作者自报。
  • 延迟很能打:中位延迟仅 98 毫秒,意味着 L0 的"少量几次前向"在读法上就足够轻。
  • 服务栈:用 vllm serve --quantization fp8(vLLM 0.29.0)起服务,库版本 anyjev 0.3.0。
  • 完整成绩原始数据在这里:bench/results_decision_index/2026-10-12/anyjev-l0-gemma-4-31b.json

⚠️ 分数不是天上掉的:维护者在排行榜的备注里点出两个技术事实——"不训练:提示词 + 受限标签读法 + 轮换平均 + 无标签运行先验",以及"FP8 动态量化,决策一致性 98.18%(门槛 96%)"。也就是说,这个成绩本身就是一份可复现的工程说明。

⚡ 怎么把它跑起来:两条路线

AnyJev 有两条路,按"要不要训练"分:

① 免训练(Decider,本文主角) —— 任意开源因果 LLM 都能用,一行 Decider(HFBackend("Qwen/Qwen3-8B")) 就能读出 L0 决策。想进一步省钱,可打开旋转预算:只读"决策真正需要"的轮换次数,平均 18 次降到 7.2 次,vLLM 上吞吐 2.2×,准确率不变。详见 docs/rotation_budget.zh-CN.md。

from anyjev import Decider, Question
from anyjev.backends.hf import HFBackend

d = Decider(HFBackend("Qwen/Qwen3-8B"))          # 默认 level="L0"
route = Question.choice("这条工单该由哪个团队处理?",
                        ["账单", "技术", "销售", "其他"], name="route")
r = d.decide("同一笔订单我的卡被扣了两次钱。", [route])["route"]
r.distribution, r.level                       # {选项: 概率}、"L0"

② 自蒸馏(Tacit) —— 已发布的 Tacit-1.7B / 2B / 4B / 8B / 9B 模型,学会"一次前向就给出它推理后才会得到的答案",不用人工标签也不用教师模型。打开 adaptive=True 后,一部分低置信决策会有上限地转去推理,兼顾速度与难度。

from anyjev import Tacit

tacit = Tacit.from_pretrained("morriszjm/Tacit-9B", adaptive=True)
d = tacit.decide(state="...", question="What does the customer want?",
                 options=["track_order", "cancel_order", "refund", "change_address"])
d["answer"], d["probs"], d["route"]           # 选项、{选项: 概率}、"one_forward" 或 "cot"

两条路线的取舍、每个档位"承诺"什么,完整写在 docs/levels.md。

📌 诚实的边界:它不能做什么

  • 精度受限于基座模型:读法能去掉顺序和标签偏见,但补不上模型本身没有的知识。
  • 选项数上限 26(字母读法),更多需要 span 读法(路线图上)。
  • 批次先验在"某标签占绝对多数"的批次里会掉点,可切到 prior="content_free" 或 prior="none"。
  • 每个决策都是孤立打分,尚未放进真实 agent 循环里评测。

完整清单见 docs/limitations.zh-CN.md。

🧭 小结:为什么这个成绩值得看

AnyJev L0 的故事不是"又一个大模型刷榜",而是读法的胜利:

  • 它不训练、不标注,只用"选项轮换 + 无标签先验校正"把 raw 直读的两个硬伤填平;
  • 在公开 Decision Index 0.3 上,仅靠原版 Gemma-4-31B + 两次轮换拿到 60.22、前 5 名;
  • 更关键的是它产出的不是"答案",而是带概率、带档位、可阈值化的决策——这才是能直接进生产决策系统的形态。

仓库持续更新,欢迎提 issue 和 PR。想深入实现,从 anyjev/decider.py 和 docs/levels.md 入手最快;想看完整变更,读 CHANGELOG.md。

登录后查看全文
AnyJev