一文看懂Valen的shared_state共享状态模式:一次backbone前向如何为整条记录的全部题目打分

原创2026-10-24 17:59:331,411 阅读

一文看懂Valen的shared_state共享状态模式:一次backbone前向如何为整条记录的全部题目打分

Valen 是一个开源的多模态 System One 决策模型:输入文本、图像或视频,输出结构化的候选概率。而本文的主角 shared_state 共享状态模式,正是 Valen 训练与推理的核心优化——它让同一条记录里的全部题目只跑一次 backbone 前向,所有问题共用同一条 Qwen 序列与同一张反向计算图,从而大幅摊薄"重复读媒体"的计算成本。下面用一张图带你从原理、数据结构到训练配方,完整看懂它是怎么做到的。

Valen多模态决策模型架构:Qwen3.5 backbone加共享决策头输出Choice、Noul、Score概率

先看一个真实的多模态决策例子,感受一下 Valen 的输出形态:

Valen多模态决策演示:图像与视频输入直接产出结构化决策概率

为什么需要"共享状态":question 模式下的重复计算

Valen 的默认执行方式是 qwen_execution="question"。此时每道题(含 Score 的每个等级分支)都拼上同一份公共 state(文本/图像/视频)后单独跑一次 backbone:

logical_tokens = B + sum(Sᵢ)        # 逻辑上:state 只算一次
compute_tokens = sum(B + Sᵢ)        # 实际计算:state 被重复编码 K 次

一个 state 若带有一道 Choice、一道 Noul 和一道三级 Score,就需要 5 次 backbone 前向——图像/视频 token 被反复编码,而媒体恰恰是最贵的部分。shared_state 模式就是为了消灭这种重复。相关说明见 docs/architecture_zh.md 与 docs/qwen-shared-state_zh.md。

shared_state 共享状态模式如何工作:一次前向,全题打分

只需在训练配置的 model 段设置:

{ "qwen_execution": "shared_state" }

(share_state 是等价别名,保存时统一记为 shared_state;单题记录走完全相同的执行路径。)

输入序列长什么样

编译器(valen/data/compilers/qwen.py 中的 _compile_shared)把整条记录编译成一条序列,结构非常规整:

[state 消息与媒体,只出现一次]
user:
  Question 1: task, instruction, candidates
  Question 2: task, instruction, candidates
assistant:
  Question 1 Decision:
  Question 2 Decision:

关键点:

  • 媒体只编码一次,全部题目"搭便车";
  • 每道题有各自的指令区间、候选区间和 Decision: 位置,标签和外部 ID 不进入序列;
  • Score 题的所有有序等级描述一起出现在序列中,一次前向输出全部等级 logits。

一次前向之后,Mixer 头如何为每个候选打分

backbone 跑完后,valen/modeling/qwen/model.py 中的 extract_state_features 在同一份隐状态上为各题提取特征,forward_state 一次性返回全部题目的候选 logits。

默认 Mixer 头(valen/modeling/qwen/heads.py)为每个候选读取四个"角色":均值池化的共享 state、该题指令、候选描述、最后的 Decision token。两个 Mixer block 在四个角色之间做混合,再输出一个 FP32 logit。注意:Mixer 在各题、各候选之间参数完全共享,且从不混合不同候选——混合只发生在语义角色之间。

由于用的是普通因果注意力,题目顺序、选项顺序都可能影响结果,所以这是一种新的输入格式,需要重新训练并做独立验证,而不是对旧权重的免费加速。

Valen训练流程:shared_state配方先用SFT两阶段训练,可选RLCD,最后在留出集评估

批量与损失:microbatch_size 数的是 state 不是题目

这是新手最容易踩的坑:

  • 同一个 state 内的所有题目共用一次前向和一张反向图;
  • microbatch_size > 1 时,不同 state 各占 batch 中的一行(各自 padding),媒体 patch 按 state 只拼接一次,各 state 的因果上下文互不干扰;
  • microbatch_max_tokens 限制补齐后的 token 总量,单行超长则单独执行;
  • logical_tokens 与 compute_tokens 都只把完整共享序列计一次——媒体不再重复计费;
  • max_length 作用于整个共享序列,超长直接报错,不会静默丢弃任何题目或 token。

损失聚合提供两种方式(SFT 和 RLCD 都支持):

reduction 含义 适用场景
state_mean(默认) state 内先平均,再对 state 全局平均 沿用旧权重方式
question_mean 对全部有标签题目全局平均 题目数不一时保留 QA 配比,新 Mixer 配方采用

另外:训练和评估在输入中保留全部请求题目(包括无标签题),只有有标签的读出参与 loss;完全没有标签的记录会在读取媒体前直接跳过。

数据准备与两阶段训练:照着配方就能跑

把单题数据合并成多题记录

若你的 JSONL 是"一行一题",可用内置工具把 state、媒体、元信息都相同的记录合并成一条多题记录:

python -m valen.data.group_questions \
  --input data/one_qa_per_record/train.jsonl \
  --output data/shared-state/train.jsonl \
  --max-questions 4

该命令(valen/data/group_questions.py)保留全部 QA 与标签、按题目上限拆分分组、确定性重命名冲突 ID,并写出含 QA 计数与 SHA-256 摘要的 manifest;源文件保持不动,每个划分(train/warmup/eval)需分别合并。

两阶段训练配方

官方配方基于 Qwen3.5-2B + Mixer + FlashAttention-2,分两步走:

# 阶段一:冻结 Qwen,只预热决策头
VALEN_GPUS=8 bash scripts/train/launch.sh \
  configs/train/qwen/sft_shared_state_warmup.json

# 阶段二:Mixer + 语言 LoRA + 视觉 merger,从 warmup 初始化
VALEN_GPUS=8 bash scripts/train/launch.sh \
  configs/train/qwen/sft_shared_state_joint.json \
  --initialize output/qwen-shared-state/warmup/latest

以 configs/train/qwen/sft_shared_state_joint.json 为例,关键配置一目了然:qwen_execution 为 shared_state、head_type 为 mixer、microbatch_size 为 8(即并行 state 数)、loss_reduction 为 question_mean。字段默认值与完整解释见 docs/configuration_zh.md。

⚠️ 两个恢复训练的注意点:执行模式和 loss reduction 会随 checkpoint 保存,--resume 要求两者都不变;要切换时请用 --initialize 开新实验。

效果验证:共享状态配方训出的模型表现

Valen 正式发布的 0.8B/2B/4B 模型正是采用 Qwen3.5 + Mixer + shared_state 推理路径,经数百万样本 SFT 训练。在 VisualDecisionBench-Image 上,2B 版本准确率达 80.41%,4B 达 83.06%:

Valen共享状态模式训练的2B模型在VisualDecisionBench-Image上准确率达80.41%

关键路径速查

内容 路径
共享状态完整说明(中文) docs/qwen-shared-state_zh.md
共享编译器 _compile_shared valen/data/compilers/qwen.py
单次前向/批量前向实现 valen/modeling/qwen/model.py
四种决策头与四角色特征 valen/modeling/qwen/heads.py
决策头选型表 valen/modeling/qwen/HEADS.md
联合训练配方 configs/train/qwen/sft_shared_state_joint.json
单元测试 tests/qwen/test_shared_state.py

小结

shared_state 共享状态模式的精髓可以浓缩成三点:媒体只编码一次——全部题目拼进同一条 Qwen 序列;一次前向、一张反向图——所有候选 logits 共享计算图同时产出;头部完全共享——Mixer 用四个语义角色为每个候选独立打分,参数不随题目数增长。理解了这个模式,你就掌握了 Valen 从数据合并、两阶段训练到批量推理的完整链路,也能看懂官方配方中 microbatch_size、question_mean 等参数的真实含义。🎯

登录后查看全文
Valen