揭秘Aurelis-2B核心机制:如何将多选决策转化为单Token概率,一次前向传播算完

原创2026-11-14 09:11:521,908 阅读

揭秘Aurelis-2B核心机制:如何将多选决策转化为单Token概率,一次前向传播算完

Aurelis-2B 是一个轻量级决策模型:给它一段"状态"(state)和若干道选择题或是否题,它就能在一次前向传播内给出每个选项的概率分布,无需逐词生成答案。它基于 MiniCPM5-2B(2.5B 参数)微调而来,靠"单 Token 概率"这一巧妙设计,把多选决策变成了对几个字母 Token 的 softmax,也是当前 4B 以下模型中 Decision Index 公开榜分最高的决策模型之一。

🤔 什么是 Aurelis-2B:只输出概率的决策模型

普通大语言模型回答"该走哪个流程"这类问题时,要把答案一个词一个词地生成出来,再由程序去解析文本。Aurelis-2B 换了个思路:

  • 输入:一段描述当前情境的 state + 一组带类型的问题(choice 多选题 或 noul 是否题)
  • 输出:每个选项的概率,例如 "billing": 0.84, "technical": 0.09, "account": 0.07,以及概率最高的选项

概率本身就是结构化结果,可以直接用于阈值路由、置信度判断,省掉了"生成文本 → 解析文本"的脆弱环节。仓库中的 README.md 完整介绍了它的定位与评测结果。

🔑 核心机制:每个选项 = 一个字母 Token

单 Token 概率的关键在于"把选项编号成字母"。模型在推理前会把每个选项依次标记为 A、B、C……X,并严格验证每个字母在分词后恰好只占 1 个 Token,逻辑见 aurelis.py:

如果某个字母不是一个 Token,初始化直接报错。这是整个方案成立的前提。

由于每个选项都对应一个确定的 Token ID,模型"要选哪个"这件事,就被压缩成了"下一个 Token 是 A 还是 B"的选择题。

答案位置直接读取 softmax

推理时,每个问题被拼成一条 JSON 提示:

{"state": "客户说订单被重复扣款了", "question": "该分给哪个团队?",
 "options": [{"label": "A", "key": "billing", "description": "账单"}, ...]}

这条提示后面追加一个固定的助手前缀(空思考块),提示模板定义在 chat_template.jinja。前缀结束后的下一个位置就是"答案位置",此时只需:

  1. 对整个 prompt 做一次前向传播(aurelis.py)
  2. 只取答案位置处 A–X 这几个字母的 logits
  3. 做 softmax,归一化后的数值就是每个选项的概率

没有解码循环、没有逐 Token 生成,一道题 = 一次前向传播。是否题(noul)则是 No(A) / Yes(B) 两选项的特例,直接返回 Yes 的概率。

🚀 快速上手:两种运行方式

方式一:Ollama + GGUF(推荐新手)

仓库自带 Q8_0 量化的 aurelis-2b-q8_0.gguf 和配套的 Modelfile(16K 上下文、decision 能力),拉取后调用 /v1/systemone 接口即可:

ollama pull mrscratchcat22/aurelis:2b
curl -s localhost:11434/v1/systemone -d '{
  "model": "mrscratchcat22/aurelis:2b",
  "state": "Customer: 我的卡被重复扣款,周五前必须退款",
  "questions": {
    "route":  {"type": "choice", "instructions": "Which team handles this?",
               "criteria": {"billing": "Billing", "technical": "Technical support"}},
    "urgent": {"type": "noul", "instructions": "Is this urgent?"}
  }
}'

方式二:Transformers 加载权重

仓库同时提供 model.safetensors(架构配置见 config.json:Llama 结构、42 层、词表 130560)和 aurelis.py 推理脚本,用法只有两行:

from aurelis import Aurelis
decide = Aurelis("Leptos-ai/Aurelis-2B")
decide("客户说订单被重复扣款了", {"urgent": {"type": "noul", "instructions": "Is this urgent?"}})
# {'urgent': {'type': 'noul', 'noul': 0.71}}

两种方式输出完全一致(同一 prompt 与同一概率口径),分词器文件为 tokenizer.json 与 tokenizer_config.json。

📊 效果如何:小体积的高分段成绩

在 Decision Index 0.3 公开评测(37 个基准、14 万+ 请求)中,Aurelis-2B 拿到 51.29 分,在 174 个模型中排第 65,是 4B 参数以下模型的公开最高分。亮点包括:

  • Tools & Automation(工具与自动化)79.5 分,Where2Call 单项 87.0,远超近 4 倍体量的 Cloudflare clef-flash(53.8)
  • BBH(多跳推理)62.1 分,同组最高
  • 短板也明确:知识密集类基准(GPQA、HLE、MMLU-Pro)受 2.5B 体量限制

详细对比表见 README.md。

⚖️ 使用边界与常见限制

项目 说明
选项数量 每题最多 24 个(A–X),更多需要两轮决策
上下文 训练提示上限 4096 token;Ollama 提供 16384 token 窗口
语言 英文效果最佳(训练数据为英文)
概率可靠性 输出层内置校准温度 1.55,概率可直接当作置信度使用

一句话总结:Aurelis-2B 把"多选题"翻译成了"模型下一个 Token 是哪个字母"的问题——选项即字母、字母即 Token、Token 概率即决策结果,一次前向传播算完,这是它又快又稳的根本原因。如果你想把 AI 接入"自动分诊、意图识别、工具选择"这类流程,它是一个值得尝试的轻量级起点。

登录后查看全文
Aurelis-2B