Sieve-27B-v2 实现深挖:全量微调存成 PEFT Adapter(modules_to_save)与问题隔离机制完整指南

原创2026-11-14 10:54:191,724 阅读

Sieve-27B-v2 实现深挖:全量微调存成 PEFT Adapter(modules_to_save)与问题隔离机制完整指南

Sieve-27B-v2 是一个对 Qwen3.8-27B 做全量微调的决策模型(decision model):它不生成任何文本,而是对选择、判断和评分类问题的每个选项直接输出校准后的概率。本文拆两个最有代表性的设计:全量微调权重如何通过 modules_to_save 以 PEFT adapter 形式发布,以及"状态只读一次、每个问题独立成行"的问题隔离机制。

Sieve-27B-v2 是什么 🧭

一句话概括:给模型一份"状态"(文本或 JSON)和一组带类型的问题,它为每个问题的每个选项打分。

  • 骨干:Qwen/Qwen3.8-27B 的文本部分,64 层 decoder 全部参与训练(24.35B 参数)
  • 读出:256 维投影的 pointer head(fp32,从零训练)给每个选项打分,再经校准 softmax 输出概率
  • 显存:bf16 下约 52 GB,一块 80 GB GPU 即可
  • 成绩:Decision Index 0.3 公开分 68.02、排行榜 Full 分 59.89(result.json)
问题类型 选项 返回
choice 调用方给定的键,2~255 个 最可能的键 + 置信度 + 各键概率
noul yes / no P(yes)
score 有序的 2~10 个等级 期望等级 + 置信度 + 各等级概率

注意:训练数据里只有 choice 和 noul 问题,score 由同一个 pointer head 回答但未专门训练。

全量微调如何存成 PEFT Adapter 📦

这是本发布最"反直觉"的部分:文件长得像 LoRA adapter,装的却是完整微调权重。

modules_to_save 不是低秩矩阵,而是完整的 64 层权重

adapter_config.json 中的 modules_to_save 列出了 layers.0 到 layers.63 全部 64 个 decoder 层。

在 PEFT 的语义里,modules_to_save 表示"这些模块不做低秩近似,完整权重随 adapter 保存并在加载时恢复"。所以这个 adapter_model.safetensors(bf16)并不小——它承载的就是 24.35B 参数的完整训练结果,而非几十 MB 的低秩增量。

零权重 rank-1 LoRA:一个"格式占位符"

配置里 target_modules 指向 embed_tokens,r = 1、lora_alpha = 1,且 peft_type 为 LORA。但这份 LoRA 的权重是全零,作用只有两个:

  1. 让整个发布是一个合法的 PEFT adapter 格式,可以走常规的 adapter 托管、下载与版本管理流程;
  2. token embeddings 与 final norm 在训练中本来就是冻结的,加载后直接使用骨干原值,零 LoRA 不改变任何数值。

training_config.json 的 release_format 字段把这一发布格式说得很直白:64 层 decoder 全部是 modules_to_save(完整训练权重);embeddings 与 final norm 来自骨干;embeddings 上的 rank-1 LoRA 为零。provenance.json 中也有同样的描述。

加载方式:sieve 0.3.2 起原地合并,显存≈骨干本身

sieve 库 0.3.2 及以上版本加载时会把这 64 层复制回骨干的对应位置(in-place 合并),不存在"骨干 + adapter"双份权重,因此加载后的显存占用约等于骨干本身(bf16 下 50.3~53.1 GB)。

两点提醒:

  • 必须用 sieve 库加载,这个 adapter 单独拿出来不是文本生成模型;
  • 骨干 Qwen3.8-27B 会在首次使用时按固定 revision(1d4bf0f2)自动下载。

问题隔离机制:为什么问题之间互不可见 🧱

状态只读一次,每个问题跑独立的一行

Sieve-27B-v2 的推理流程是"一次读状态、逐题独立打分":

  1. 状态(最多 16,384 token)只过一次骨干,得到 KV cache;
  2. 每个问题 + 它的选项(各自最多 16,384 token)接在状态的 cache 上,作为**独立的一行(row)**前向;
  3. pointer head 对每个选项的末尾与决策点对比打分,校准 softmax 给出该题的概率。

由于每个问题都是物理上独立的一行,问题 A 在计算时看不到问题 B 的选项内容,多题请求之间不存在互相污染。README.md 的原话是:"Each question runs as its own row from the state's cache, so questions never see each other."

缓存复用的实测收益:约 100 ms

同一份 1,433-token 状态上的一个 choice 问题(数据来自 result.json):

状态 KV cache 服务端 p50 延迟
命中(复用缓存) 约 110 ms
未命中(重新计算状态) 约 210 ms

也就是说,多问几个问题几乎不增加耗时——这正是"隔离 + 共享 cache"设计的直接收益。

16,384 token 硬限制:超长直接拒绝,绝不截断

sieve 从 training_config.json 读取这两个上限,超限请求直接拒绝。训练时超长记录同样是丢弃而非截断(一条都没截过),从而保证推理行为与训练时完全一致。

Pointer Head 与温度校准:几行讲清 ⚙️

  • pointer head 从零训练,前 100 步只训 head(学习率 5e-5),骨干 100 步后以 4e-6 启动,AdamW + 余弦衰减
  • 校准温度 = 全局 T = 0.999 + 按问题类别(类型 × 选项数 × 状态形态)的 25 个温度,范围 0.928~1.127,在 132,395 道校准题上按 NLL 拟合
  • 温度只调整概率分布,从不改变答案;设 temperature=1.0 可得原始概率
  • 校准集表现:accuracy 92.63%、ECE 0.0020,详见 result.json 与 training_config.json

文件清单速查 📋

文件 内容
adapter_model.safetensors + adapter_config.json 64 个微调 decoder 层(modules_to_save,bf16)+ 零权重 LoRA
head.pt pointer head 与全局/分类校准温度
tokenizer.json / tokenizer_config.json Qwen3.8-27B 分词器,未改动
training_config.json / training_metrics.json 训练配方与运行记录(3,133 步、55.1 GPU 小时、2×B300)
result.json 校准、Decision Index 与延迟数据
provenance.json 所有文件与训练数据的 SHA-256

小结 🎯

  • "Adapter" ≠ 小增量:modules_to_save 存的是 64 层完整权重,零 rank-1 LoRA 只是格式占位符,让全量微调可以沿用 PEFT adapter 的发布流程;
  • 加载不翻倍显存:sieve 0.3.2 起原地合并,占用≈骨干本身(bf16 约 52 GB);
  • 问题隔离 = 状态缓存共享 + 每题独立成行:多题互不可见、缓存命中约省一半延迟,且 16,384 token 硬限制下超长即拒、绝不截断。
登录后查看全文
Sieve-27B-v2