揭秘Aurelis-2B核心机制:如何将多选决策转化为单Token概率,一次前向传播算完
揭秘Aurelis-2B核心机制:如何将多选决策转化为单Token概率,一次前向传播算完
Aurelis-2B 是一个轻量级决策模型:给它一段"状态"(state)和若干道选择题或是否题,它就能在一次前向传播内给出每个选项的概率分布,无需逐词生成答案。它基于 MiniCPM5-2B(2.5B 参数)微调而来,靠"单 Token 概率"这一巧妙设计,把多选决策变成了对几个字母 Token 的 softmax,也是当前 4B 以下模型中 Decision Index 公开榜分最高的决策模型之一。
🤔 什么是 Aurelis-2B:只输出概率的决策模型
普通大语言模型回答"该走哪个流程"这类问题时,要把答案一个词一个词地生成出来,再由程序去解析文本。Aurelis-2B 换了个思路:
- 输入:一段描述当前情境的
state+ 一组带类型的问题(choice多选题 或noul是否题) - 输出:每个选项的概率,例如
"billing": 0.84, "technical": 0.09, "account": 0.07,以及概率最高的选项
概率本身就是结构化结果,可以直接用于阈值路由、置信度判断,省掉了"生成文本 → 解析文本"的脆弱环节。仓库中的 README.md 完整介绍了它的定位与评测结果。
🔑 核心机制:每个选项 = 一个字母 Token
单 Token 概率的关键在于"把选项编号成字母"。模型在推理前会把每个选项依次标记为 A、B、C……X,并严格验证每个字母在分词后恰好只占 1 个 Token,逻辑见 aurelis.py:
如果某个字母不是一个 Token,初始化直接报错。这是整个方案成立的前提。
由于每个选项都对应一个确定的 Token ID,模型"要选哪个"这件事,就被压缩成了"下一个 Token 是 A 还是 B"的选择题。
答案位置直接读取 softmax
推理时,每个问题被拼成一条 JSON 提示:
{"state": "客户说订单被重复扣款了", "question": "该分给哪个团队?",
"options": [{"label": "A", "key": "billing", "description": "账单"}, ...]}
这条提示后面追加一个固定的助手前缀(空思考块),提示模板定义在 chat_template.jinja。前缀结束后的下一个位置就是"答案位置",此时只需:
- 对整个 prompt 做一次前向传播(aurelis.py)
- 只取答案位置处 A–X 这几个字母的 logits
- 做 softmax,归一化后的数值就是每个选项的概率
没有解码循环、没有逐 Token 生成,一道题 = 一次前向传播。是否题(noul)则是 No(A) / Yes(B) 两选项的特例,直接返回 Yes 的概率。
🚀 快速上手:两种运行方式
方式一:Ollama + GGUF(推荐新手)
仓库自带 Q8_0 量化的 aurelis-2b-q8_0.gguf 和配套的 Modelfile(16K 上下文、decision 能力),拉取后调用 /v1/systemone 接口即可:
ollama pull mrscratchcat22/aurelis:2b
curl -s localhost:11434/v1/systemone -d '{
"model": "mrscratchcat22/aurelis:2b",
"state": "Customer: 我的卡被重复扣款,周五前必须退款",
"questions": {
"route": {"type": "choice", "instructions": "Which team handles this?",
"criteria": {"billing": "Billing", "technical": "Technical support"}},
"urgent": {"type": "noul", "instructions": "Is this urgent?"}
}
}'
方式二:Transformers 加载权重
仓库同时提供 model.safetensors(架构配置见 config.json:Llama 结构、42 层、词表 130560)和 aurelis.py 推理脚本,用法只有两行:
from aurelis import Aurelis
decide = Aurelis("Leptos-ai/Aurelis-2B")
decide("客户说订单被重复扣款了", {"urgent": {"type": "noul", "instructions": "Is this urgent?"}})
# {'urgent': {'type': 'noul', 'noul': 0.71}}
两种方式输出完全一致(同一 prompt 与同一概率口径),分词器文件为 tokenizer.json 与 tokenizer_config.json。
📊 效果如何:小体积的高分段成绩
在 Decision Index 0.3 公开评测(37 个基准、14 万+ 请求)中,Aurelis-2B 拿到 51.29 分,在 174 个模型中排第 65,是 4B 参数以下模型的公开最高分。亮点包括:
- Tools & Automation(工具与自动化)79.5 分,Where2Call 单项 87.0,远超近 4 倍体量的 Cloudflare clef-flash(53.8)
- BBH(多跳推理)62.1 分,同组最高
- 短板也明确:知识密集类基准(GPQA、HLE、MMLU-Pro)受 2.5B 体量限制
详细对比表见 README.md。
⚖️ 使用边界与常见限制
| 项目 | 说明 |
|---|---|
| 选项数量 | 每题最多 24 个(A–X),更多需要两轮决策 |
| 上下文 | 训练提示上限 4096 token;Ollama 提供 16384 token 窗口 |
| 语言 | 英文效果最佳(训练数据为英文) |
| 概率可靠性 | 输出层内置校准温度 1.55,概率可直接当作置信度使用 |
一句话总结:Aurelis-2B 把"多选题"翻译成了"模型下一个 Token 是哪个字母"的问题——选项即字母、字母即 Token、Token 概率即决策结果,一次前向传播算完,这是它又快又稳的根本原因。如果你想把 AI 接入"自动分诊、意图识别、工具选择"这类流程,它是一个值得尝试的轻量级起点。