rsi-jev-v5.0-vl-3b训练全流程复盘:文本3000步+图像3000步+决策头600步的三阶段配方

原创2026-11-14 12:51:062,287 阅读
文章标签:大模型多模态模型推理服务强化学习人工智能计算机视觉NLP

rsi-jev-v5.0-vl-3b训练全流程复盘:文本3000步+图像3000步+决策头600步的三阶段配方

rsi-jev-v5.0-vl-3b 是一个 3.25B 参数的多模态决策模型(Jev 类型化决策模型),基于 Qwen3.5-4B-Base 裁剪前 20 层解码器 + 视觉塔 + 决策头,通过"文本 3000 步 → 图像 3000 步 → 决策头 600 步"的三阶段训练配方完成。它在一次前向传播中即可对文档和最多 4 张图片回答 yes/no、k 选 1、按评分标准打分这三类类型化问题(noul / choice / score),并返回校准后的概率。

一、模型概览:3.25B 参数如何分工 💡

v5.0-VL 的核心思路是:"System One 模型不需要完整 LLM"。它只运行 Qwen3.5-4B-Base 32 层中的前 20 层,在第 20 层输出(最终 norm 之后)读出决策,第 21–32 层既不在检查点里也永远不会运行——深度曲线实验显示,到第 20 层质量曲线已趋于平坦。

参数分工如下(来源:meta.json 的 parameters 字段):

部件 参数量 对应文件
解码器第 1–20 层 2.23B tower.safetensors
词元嵌入 0.64B tower.safetensors
视觉塔(冻结,原样来自基座) 0.33B visual.safetensors
决策头(选项打分器 + 置信度头) 0.05B scorer.safetensors
合计 3.25B(bf16 约 6.2 GB) —

检查点是自包含的:分词器、图像处理器、嵌入和视觉塔全部打包,运行时不会从基座模型读取任何内容。config.json 中 num_hidden_layers: 20 即为裁剪后的层数。

二、三阶段训练配方总览 📋

三个阶段依次衔接,每一阶段都从上一次的产物继续训练(规格文件见项目仓库 data/v5.0-vl_recipe/):

阶段 训练对象 步数 batch / 学习率 / 种子 数据规模
① 文本监督 解码器塔(从基座出发) 3,000 步 16 / 头 5e-5、基座 2e-6 / seed 17 311,118 题,68 个数据源
② 图像监督 继续微调文本塔(视觉塔仍冻结) 3,000 步 半学习率 / seed 17 48,000 题
③ 决策头重训 仅选项打分器(塔冻结) 600 步 8 / 1e-5 / seed 1 4,800 训练行

📊 全程耗时参考:阶段 ① 约 3,768 秒(约 63 分钟,最终 loss 0.450);阶段 ③ 仅 339 秒(约 6 分钟)——见 meta.json 的 train_seconds 与 headft 字段。

三、阶段一:文本监督 3000 步,打牢"决策地基"

这一阶段从 Qwen3.5-4B-Base 出发,在 31 万多道类型化问题语料上做有监督训练,三个关键设计:

  • 分层学习率:下方 8 层以 1/10 学习率训练(lower_layers_n: 8、lower_layers_lr_scale: 0.1),保留基座底层表征;
  • 出口层 LM 保持项(retention):KL 惩罚系数 0.5,且计算在第 20 层出口层而非第 32 层(retention_at_exit: true),保证裁剪后的模型保留"基座在第 20 层已知的东西",避免知识被后 12 层带走;
  • 工程配置:词元嵌入冻结、梯度检查点、0.1 比例 warmup + 余弦调度。

这些超参数都记录在 meta.json 的 spec.fit_extra 中,方便复现对照。

四、阶段二:图像监督 3000 步,补上视觉短板

48,000 题由三部分拼成(各数据源列表见 meta.json 的 spec.sources):

组成 题数 说明
图像问题 21,754 继承 v4.0-VL 图像源 + 新生成器(空间关系、联合推理、场景重构、sokoban 状态)
新增文本问题 2,000 专攻答案为 "unknown" 的题型(KoBBQ 与弃权训练行)
文本回放 24,246 防止灾难性遗忘

🎯 为什么要专门加 2,000 道 "unknown" 题?因为诊断发现:纯图像训练会让 KoBBQ 的"模糊时答 unknown"能力从 0.828 跌到 0.679。补上弃权行后该指标回升到 0.899 以上,这是 v5.0-VL 相对上一代最大的单项提升(0.179 → 0.932)。

图像预处理配置在 preprocessor_config.json(patch 16、merge 2,Qwen3VLProcessor),视频侧配置在 video_preprocessor_config.json。

五、阶段三:决策头 600 步与 own-token 读出 🔍

这一阶段只花 600 步,却修复了一个隐蔽的回归 bug,是本次发布的点睛之笔:

问题:旧版用"整块池化"(把 option_N 的分隔符、键名和正文 token 全部平均)。在因果模型中,这些 token 会承接前一个选项的信息,导致长编号选项列表上模型 39% 的情况选中正确答案的下一项(CLINC150,151 个选项)。

方案:改为 own-token 读出(option_pool_own_tokens: true,meta.json 有记录)——每个选项的向量只取其正文 token 的均值,不计开头分隔符。塔冻结、仅重训选项打分器(600 步、batch 8、lr 1e-5、AdamW、seed 1,使用 4,800 行数据)。

效果(verify.json 可复核):

指标 整块池化 own-token
CLINC150 准确率 0.383 0.757(发布包实测 0.777)
"选到下一项"比例 39% 2%
短选项列表 两种读出在噪声范围内一致 —

六、概率校准:让置信度真正可信 📐

发布前还有一步置信度头拟合(oof_head_scorefloor 模式,low-rank 拟合、seed 0,在 11,358 道验证题上完成),产物即 calibration.safetensors 与 calibration.json。加载器会自动应用它,因此对外输出的就是校准后概率。

从 calibration.json 可以看到按题型分设的温度参数:

  • choice 题:T = 1.4623
  • noul 题:T = 1.5527
  • score 题:T = 1.786

校准后最终集 ECE 降至 0.042,15 基准套件 ECE 0.050,且 td 组 Brier 分从 0.225 降到 0.132。注意 API 返回的 probability 和 confidence 是两个不同的数(后者为峰值统计量 (K * p_max - 1) / (K - 1)),路由动作应基于你打算执行的那个选项的概率。

七、评测结果一览 🏆

指标 v5.0-VL 3B v4.0-VL 2B
Decision Index 0.2.1 38.38(原始 53.33) 28.31
MMLU-Pro 1k 0.429 0.385
留出图像集 0.829 0.802
KoBBQ "unknown" 判别 0.932 0.179
15 基准套件 0.764 0.756
校准后 ECE 0.042 0.082

速度方面(GB10 上 p50 延迟):1 / 8 / 32 题每请求分别 43.7 / 124.6 / 338.2 ms,约为 v4.0-VL 的 1.45 倍;在 H100 + CUDA graphs 下,裁剪到 20 层的 4B 模型可跑进 2B 的 0–13% 差距内。

发布前的完整性校验同样值得参考(verify.json):与裁剪前的全深度检查点对比,400 道题目 fp32 下概率逐位相同、0 个答案改变;离线自包含加载通过;bf16 权重下的服务输出与 fp32 训练检查点逐位一致。

八、仓库文件结构速览 🗂️

文件 作用
README.md 完整版本记录(任务定义、配方、结果、局限、复现命令)
config.json 模型结构(num_hidden_layers: 20、视觉塔配置)
meta.json 训练规格、head 阶段细节、参数量、发布来源
tower.safetensors 解码器 1–20 层 + 嵌入(微调后)
visual.safetensors 基座视觉塔(未改动)
scorer.safetensors 选项打分器 + 置信度头
calibration.json / calibration.safetensors 校准器拟合结果
tokenizer.json / vocab.json / merges.txt / tokenizer_config.json 分词器(与基座一致)
verify.json / SHA256SUMS 发布校验报告 / 文件校验和

使用方式上,通过官方 Python 包加载别名 v5.0-vl-3b 即可服务或 Decider("v5.0-vl-3b") 直接调用;输入最长 32,768 token(超出返回 422 拒绝而非截断),每问最多 5,120 个选项。

九、局限性(诚实声明)⚠️

  • 每次请求最多 4 张图、每题图像 token 上限 1,024,大幅面扫描件中的小字可能丢失;
  • 视觉塔是基座原封不动的,本次学到的视觉能力全部在文本塔和打分器中;
  • 训练数据未随本发布提供(代码与阶段规格在 data/v5.0-vl_recipe/,数据将另行公开);
  • 单一模型、单一尺寸、单一种子。

总结:这套"3000 + 3000 + 600"的三阶段配方展示了小型决策模型的高效训练路径——文本阶段用分层学习率和出口层保持项稳住基座知识,图像阶段用回放 + 弃权行同时补视觉和"知之为知之",最后 600 步的决策头重训用一个精确的读出修复换来了长选项列表上的大幅准确率提升,再以温度校准收尾,最终在 3B 量级拿下 Decision Index 38.38 的成绩。

登录后查看全文
rsi-jev-v5.0-vl-3b