garum的贝叶斯最后一层头:为什么字母logits不是真正的答案

原创2026-11-16 21:07:272,125 阅读
文章标签:人工智能大模型微调LoRA模型评测

garum的贝叶斯最后一层头:为什么字母logits不是真正的答案

garum 是一个面向选择题决策场景的 LoRA 适配器,为 gemma-4-31B-it 附加了一个校准的贝叶斯最后一层头(Bayesian last-layer head)。它回答每个选项的真实概率,来自这个头的输出——而不是模型原始的字母 logits。很多新手会误以为“模型输出 A 的 logit 最高,所以答案就是 A”,这正是 garum 设计上要纠正的误区。

一分钟认识 garum:大模型决策引擎的三段结构

garum 由三部分组成,理解它们的关系是读懂全文的前提:

组成 文件 作用
基座模型 google/gemma-4-31B-it(外部权重) 提供 31B 参数的语言理解能力
LoRA 适配器 adapter_model.safetensors 轻量微调,让模型学会按“字母作答”的格式
贝叶斯最后一层头 vbll_head.safetensors + garum_head.py 把“隐状态 + 字母 logits”转化为校准后的选项概率

它的工作方式是:每个问题生成一个提示词,选项按 A–Z、a–z 编号(单题最多 52 个选项),模型做一次前向传播,头模块读取答案位置的隐状态和各选项字母的 next-token logits,输出一组对每个选项的概率。

字母logits是什么:一个常见的误读起点

在提示词里,garum 会要求模型“只回答最佳选项的字母”。于是自然语言模型最原始的读数就是:对每个候选字母,模型给出一个 next-token logit(可以理解为“模型有多想在这个位置输出这个字母”)。

直觉上,logit 最高的字母应该就是答案。但 README.md 明确写道:

The letter logits on their own are not garum's answer.

只取字母 logits 有三个问题:

  1. 没有校准:logits 的绝对数值不能直接解释为概率,同一模型在不同问题上的 logits 尺度还会漂移;
  2. 信息被丢弃:模型内部那个位置完整的 5376 维隐状态里还有大量语义信息,单看 52 个字母分数等于只透过针眼看答案;
  3. 忽略了不确定性:真实世界的问题是模糊的,一个诚实的决策模型应当输出“我有多确信”,而不是假装每个 logit 都是精确的。

贝叶斯最后一层头:从一次前向传播到概率分布

garum_head.py 中的 BayesianHead 就是解决这三个问题的部件。抛开公式细节,它的计算流程可以概括为四步:

  1. 归一化隐状态:把答案位置的隐状态做 RMS 归一化,再投影到一个 128 维空间;
  2. 组合两个信号:每个字母的得分 = tau × 字母logit + 隐状态特征的加权和。前者保留“模型想输出哪个字母”,后者补充“模型此刻理解了什么”;
  3. 贝叶斯参数平均:头的参数 beta 不是单点估计,而是服从一个高斯后验分布。头文件里存了 64 组后验采样(eps 张量),最终概率是 64 次 softmax 的平均——这就是所谓的后验预测(posterior predictive);
  4. 输出确定性结果:因为采样已经固定保存在 vbll_head.safetensors 中,同一请求在任何机器上跑都会得到同一答案。

第 3 步正是“贝叶斯”二字的来源:与其用一个可能过拟合的参数点估计去做 softmax,不如把参数上的不确定性平均掉。这就像投票时不看单个评委的打分,而是综合多组评委的意见。

头文件的自检机制:为什么不能“只用字母logits部署”

vbll_head.json 记录了头的元信息:维度 dim: 128、隐状态宽度 hidden: 5376、64 个后验采样、52 个字母的 token id,以及权重文件的 sha256 校验值。

加载时的设计值得注意:BayesianHead.from_dir 会做三件事——

  • 检查格式版本是否为 garum-head-1;
  • 重新计算权重文件的 sha256 并与 JSON 中记录的值比对,防止文件损坏或版本错配;
  • 如果头文件缺失,直接抛出 FileNotFoundError,错误信息写明“the model must not be served from the letter logits alone”(模型不得仅凭字母 logits 提供服务)。

也就是说,garum 在代码层面就拒绝了一种“看起来能跑、实际上答非所问”的部署方式。这是一个很值得借鉴的工程实践:把错误用法变成显式报错,而不是静默降级。

正确使用方式:通过 predict_proba 拿概率

正确的调用入口是 modeling_garum.py 中的 GarumForDecision.predict_proba。最小流程:

answers = model.predict_proba(
    "The forecast gives a 70% chance of heavy rain this afternoon. The match is outdoors, on grass.",
    {"plan": {"type": "choice", "instructions": "What should the organisers do?",
              "criteria": {"play": "Play as planned", "indoors": "Move it indoors",
                           "postpone": "Postpone it"}}})
# answers["plan"]["probabilities"] 给出三个选项各自的概率

要点:

  • 选择题返回每个选项的概率并给出最高概率项;是非题(noul 类型)返回 p(yes);
  • 选项超过 52 个时会自动分两轮:第一轮分块初筛,第二轮在入围选项中再比一次;
  • 提示词长度超过 32768 tokens 时直接报 Unsupported,不做截断,避免“悄悄丢上下文”导致错误答案;
  • 引擎入口 garum_engine.py 在 Decision Index 评测中运行的正是 predict_proba,并在 readout 字段中记录读取方式为 calibrated Bayesian last-layer head。

新手避坑清单

误区 正确做法
取字母 logits 做 argmax 当答案 必须经过 BayesianHead.predict,用 garum_head.py 的完整链路
只下载适配器权重就部署 必须同时带上 vbll_head.safetensors 和 vbll_head.json
用 torch.compile 跑推理 README 建议 eager 模式,以保证与报告结果一致的 bf16 数值行为
用 Yes/No 以外的顺序问是非题 是非题固定按 Yes、No 顺序输出

总结

garum 的核心设计哲学一句话就能讲清:字母 logits 只是“线索”,贝叶斯最后一层头才是“答案”。它把隐状态语义、校准的缩放因子和 64 组后验采样结合在一起,把语言模型的原始输出转成了可解释、可比较、跨机器可复现的选项概率。如果你在做决策型 LLM 应用,这套“适配器 + 校准头 + 文件自检”的架构值得直接借鉴。相关文件索引:推理入口 modeling_garum.py、提示词与请求组装 garum_core.py、头实现 garum_head.py、评测引擎 garum_engine.py。

登录后查看全文
garum