liquamen选项顺序平均的秘密:一个技巧如何让决策准确率提升约3分
liquamen选项顺序平均的秘密:一个技巧如何让决策准确率提升约3分
liquamen 是一个基于 Gemma 微调的多选决策大模型:它对决策类多选题输出每个选项的概率分布。本文用通俗语言拆解它的核心推理技巧——选项顺序平均(option-order averaging),以及为什么这个"把选项换顺序重答几次再取平均"的技巧,能帮助决策准确率提升约 3 分(公开面板 65.79,对比上一代模型 oenogarum 的 62.80)。
先认识 liquamen:会输出概率的决策模型
liquamen 是对 google/gemma-4-31B-it 的完整微调(full fine-tune),专门回答多选题形式的决策问题,例如"室外比赛遇到 70% 概率的强降雨,组织者该怎么做?"。它的输出不是文字,而是每个选项上的一组校准概率:
- 普通多选题:取答案位置上各选项字母的 logits,做一次 softmax 并除以一个拟合温度(T = 1.085);
- 是否题(Yes/No):额外用一层贝叶斯残差校正两个字母的 logit。
这套读出头保存在 vbll_head.safetensors 与 vbll_head.json 中,配合 config.json 一起加载。在 Decision Index 0.4.1 榜单上,liquamen 的全分是 69.14(265 个模型中第 9 名)。
核心技巧揭秘:选项顺序平均(option-order averaging)
为什么选项顺序会影响模型判断?
大模型普遍存在位置偏差:排在前面的选项、或"第一眼看上的选项"更容易被选中。也就是说,同一道题,仅仅把 A/B/C 换成 B/A/C,模型给出的概率就可能明显不同。
liquamen 的思路非常朴素:既然单个顺序有偏差,那就把选项换几种顺序各答一次,再取平均——就像多次测量取平均可以抵消随机误差一样。
具体怎么做的?4 步流程
- 生成 4 种选项顺序:
- 选项数 K ≤ 4:用固定随机种子的 3 种重排(见 oavg_engine.py 的
random_orders),可完全复现; - 5 ≤ K ≤ 52:改用循环拉丁方阵平移(见 lenavg_bayes_balanced_k5_engine.py 的
balanced_k5_orders),每种顺序的步长均匀分布s = round(j·K/4) % K,保证每个选项都在"前、中、后"字母位置上轮流过; - K > 52:不做平均,走单次推理(分两轮处理)。
- 选项数 K ≤ 4:用固定随机种子的 3 种重排(见 oavg_engine.py 的
- 一次打包前向:4 个重排后的 prompt 与原始 prompt 打包进同一次前向计算(每个 prompt 只关注自己),不额外占显存,只是多算几倍 token。
- 等权平均 4 个概率向量:先把每种顺序的输出概率映射回原始选项,再取算术平均(oavg_engine.py 的
combine)。 - 重新"锐化"并归一化:对平均后的概率做
p^(1/0.95438)再归一化(是否题用 1/0.93738),避免平均把概率分布抹得太平、失去信心。
是否题还有一道贝叶斯修正:用基准 prompt 的隐藏状态 + 平均后的原生概率,通过训练好的二项贝叶斯后验再微调一次 log-odds,实现在 lenavg_bayes_engine.py 中。
什么时候触发平均?长度自适应门控
平均 4 次自然要付出 4 倍左右的计算,所以 liquamen 设计了长度门控(lenavg_engine.py 的 L_STAR = 939,扩展到 lenavg_bayes_l6k_engine.py):
| 请求特征 | 走哪条路径 |
|---|---|
| 原始长度 L_raw ≤ 939 | ✅ 4 次顺序平均 |
| 单题且渲染后长度 ≤ 6,000 | ✅ 4 次顺序平均 |
| 更长的请求 | 单次前向(不截断、不报错,只是不平均) |
这个门控完全由请求本身计算得出,不需要任何标签。在 140,620 条公开评测请求中,85.4%(120,036 条)命中了平均路径,是模型得分的主力通道。
为什么"平衡循环平移"比随机洗牌更优?
早期版本 lenavg_bayes_l6k_engine.py 对所有选项数都用固定种子的随机重排;而最终版 lenavg_bayes_balanced_k5_engine.py 对 5 个及以上选项改用了平衡循环平移。实测同一份权重与读出头:
| 顺序平均策略 | 公开面板分 |
|---|---|
| 随机重排(l6k) | 65.71 |
| 平衡循环平移(balanced k5) | 65.79(+0.08,Knowledge +0.17,Arts +0.33) |
直觉上:随机洗牌偶尔会"抽到一个好顺序",但分布不均;均匀步长的循环平移让每个选项系统性地在每种字母位置上都出现过,对位置偏差的抵消更均匀、更可预期——这正是"平衡"二字的含义。
如何快速运行顺序平均引擎
硬件要求:单卡 ≥ 75 GB 显存(bf16 权重约 62 GB),官方在 1×H100 80GB 上测试。步骤:
- 安装 README 中说明的 Decision Index 套件(decision_index),并下载 liquamen 权重;
- 用仓库自带引擎启动评测(
L <= 939等逻辑由引擎内部自动处理):
python -m decision_index run \
--engine lenavg_bayes_balanced_k5_engine:LenAvgBayesBalancedK5Engine \
--option model=<liquamen 权重目录> \
--compact --out runs/liquamen
注意:liquamen 的注意力机制是训练时的定制实现,推理必须使用 fullft_mem.py 注册的 jev_mem 注意力,引擎会拒绝任何其它注意力实现——用默认注意力跑会得到不同(且更差)的答案。
成绩与延迟一览
- 对比上一代模型:liquamen 公开面板 65.79,oenogarum 为 62.80,+2.99 分(37 个基准、140,620 条请求,0 错误 0 截断);
- 推理延迟(1×H100 80GB,逐条请求):中位数约 400 ms,平均约 585~606 ms,P95 约 1.4 s——4 次平均被打包进同一次前向后,延迟只比单条模型高一个"可接受"的幅度。
| 指标 | 数值 |
|---|---|
| 公开面板(DI 0.3, 37 基准) | 65.79 |
| vs oenogarum | +2.99 |
| 平均路径命中率 | 85.4% |
| 延迟中位数 / 平均 | ≈400 ms / ≈600 ms |
新手 takeaway:这个技巧值不值得抄?
✅ 低成本:不改权重、不加参数,只在推理端多跑几个换序的 prompt;
✅ 高通用:任何"输出选项概率"的多选模型都有位置偏差,顺序平均几乎普适;
✅ 要加门控:长请求上平均会拖慢延迟,liquamen 用 L ≤ 939 / 单题 ≤ 6,000 的长度阈值做了取舍;
✅ 要配"锐化":直接平均会让概率变平,liquamen 用固定的 1/0.95438 次幂恢复置信度;
✅ 平衡 > 随机:选项一多(K ≥ 5),均匀循环平移比随机洗牌更稳。
如果你想继续深入,建议从 README.md 的 Usage 一节读起,再对照 oavg_engine.py、lenavg_bayes_balanced_k5_engine.py 两个文件——一个文件不到 200 行,就把"换 4 种顺序 + 平均 + 锐化"讲得清清楚楚。