一文看懂Valen的shared_state共享状态模式:一次backbone前向如何为整条记录的全部题目打分
一文看懂Valen的shared_state共享状态模式:一次backbone前向如何为整条记录的全部题目打分
Valen 是一个开源的多模态 System One 决策模型:输入文本、图像或视频,输出结构化的候选概率。而本文的主角 shared_state 共享状态模式,正是 Valen 训练与推理的核心优化——它让同一条记录里的全部题目只跑一次 backbone 前向,所有问题共用同一条 Qwen 序列与同一张反向计算图,从而大幅摊薄"重复读媒体"的计算成本。下面用一张图带你从原理、数据结构到训练配方,完整看懂它是怎么做到的。
先看一个真实的多模态决策例子,感受一下 Valen 的输出形态:
为什么需要"共享状态":question 模式下的重复计算
Valen 的默认执行方式是 qwen_execution="question"。此时每道题(含 Score 的每个等级分支)都拼上同一份公共 state(文本/图像/视频)后单独跑一次 backbone:
logical_tokens = B + sum(Sᵢ) # 逻辑上:state 只算一次
compute_tokens = sum(B + Sᵢ) # 实际计算:state 被重复编码 K 次
一个 state 若带有一道 Choice、一道 Noul 和一道三级 Score,就需要 5 次 backbone 前向——图像/视频 token 被反复编码,而媒体恰恰是最贵的部分。shared_state 模式就是为了消灭这种重复。相关说明见 docs/architecture_zh.md 与 docs/qwen-shared-state_zh.md。
shared_state 共享状态模式如何工作:一次前向,全题打分
只需在训练配置的 model 段设置:
{ "qwen_execution": "shared_state" }
(share_state 是等价别名,保存时统一记为 shared_state;单题记录走完全相同的执行路径。)
输入序列长什么样
编译器(valen/data/compilers/qwen.py 中的 _compile_shared)把整条记录编译成一条序列,结构非常规整:
[state 消息与媒体,只出现一次]
user:
Question 1: task, instruction, candidates
Question 2: task, instruction, candidates
assistant:
Question 1 Decision:
Question 2 Decision:
关键点:
- 媒体只编码一次,全部题目"搭便车";
- 每道题有各自的指令区间、候选区间和
Decision:位置,标签和外部 ID 不进入序列; - Score 题的所有有序等级描述一起出现在序列中,一次前向输出全部等级 logits。
一次前向之后,Mixer 头如何为每个候选打分
backbone 跑完后,valen/modeling/qwen/model.py 中的 extract_state_features 在同一份隐状态上为各题提取特征,forward_state 一次性返回全部题目的候选 logits。
默认 Mixer 头(valen/modeling/qwen/heads.py)为每个候选读取四个"角色":均值池化的共享 state、该题指令、候选描述、最后的 Decision token。两个 Mixer block 在四个角色之间做混合,再输出一个 FP32 logit。注意:Mixer 在各题、各候选之间参数完全共享,且从不混合不同候选——混合只发生在语义角色之间。
由于用的是普通因果注意力,题目顺序、选项顺序都可能影响结果,所以这是一种新的输入格式,需要重新训练并做独立验证,而不是对旧权重的免费加速。
批量与损失:microbatch_size 数的是 state 不是题目
这是新手最容易踩的坑:
- 同一个 state 内的所有题目共用一次前向和一张反向图;
microbatch_size > 1时,不同 state 各占 batch 中的一行(各自 padding),媒体 patch 按 state 只拼接一次,各 state 的因果上下文互不干扰;microbatch_max_tokens限制补齐后的 token 总量,单行超长则单独执行;logical_tokens与compute_tokens都只把完整共享序列计一次——媒体不再重复计费;max_length作用于整个共享序列,超长直接报错,不会静默丢弃任何题目或 token。
损失聚合提供两种方式(SFT 和 RLCD 都支持):
| reduction | 含义 | 适用场景 |
|---|---|---|
state_mean(默认) |
state 内先平均,再对 state 全局平均 | 沿用旧权重方式 |
question_mean |
对全部有标签题目全局平均 | 题目数不一时保留 QA 配比,新 Mixer 配方采用 |
另外:训练和评估在输入中保留全部请求题目(包括无标签题),只有有标签的读出参与 loss;完全没有标签的记录会在读取媒体前直接跳过。
数据准备与两阶段训练:照着配方就能跑
把单题数据合并成多题记录
若你的 JSONL 是"一行一题",可用内置工具把 state、媒体、元信息都相同的记录合并成一条多题记录:
python -m valen.data.group_questions \
--input data/one_qa_per_record/train.jsonl \
--output data/shared-state/train.jsonl \
--max-questions 4
该命令(valen/data/group_questions.py)保留全部 QA 与标签、按题目上限拆分分组、确定性重命名冲突 ID,并写出含 QA 计数与 SHA-256 摘要的 manifest;源文件保持不动,每个划分(train/warmup/eval)需分别合并。
两阶段训练配方
官方配方基于 Qwen3.5-2B + Mixer + FlashAttention-2,分两步走:
# 阶段一:冻结 Qwen,只预热决策头
VALEN_GPUS=8 bash scripts/train/launch.sh \
configs/train/qwen/sft_shared_state_warmup.json
# 阶段二:Mixer + 语言 LoRA + 视觉 merger,从 warmup 初始化
VALEN_GPUS=8 bash scripts/train/launch.sh \
configs/train/qwen/sft_shared_state_joint.json \
--initialize output/qwen-shared-state/warmup/latest
以 configs/train/qwen/sft_shared_state_joint.json 为例,关键配置一目了然:qwen_execution 为 shared_state、head_type 为 mixer、microbatch_size 为 8(即并行 state 数)、loss_reduction 为 question_mean。字段默认值与完整解释见 docs/configuration_zh.md。
⚠️ 两个恢复训练的注意点:执行模式和 loss reduction 会随 checkpoint 保存,--resume 要求两者都不变;要切换时请用 --initialize 开新实验。
效果验证:共享状态配方训出的模型表现
Valen 正式发布的 0.8B/2B/4B 模型正是采用 Qwen3.5 + Mixer + shared_state 推理路径,经数百万样本 SFT 训练。在 VisualDecisionBench-Image 上,2B 版本准确率达 80.41%,4B 达 83.06%:
关键路径速查
| 内容 | 路径 |
|---|---|
| 共享状态完整说明(中文) | docs/qwen-shared-state_zh.md |
共享编译器 _compile_shared |
valen/data/compilers/qwen.py |
| 单次前向/批量前向实现 | valen/modeling/qwen/model.py |
| 四种决策头与四角色特征 | valen/modeling/qwen/heads.py |
| 决策头选型表 | valen/modeling/qwen/HEADS.md |
| 联合训练配方 | configs/train/qwen/sft_shared_state_joint.json |
| 单元测试 | tests/qwen/test_shared_state.py |
小结
shared_state 共享状态模式的精髓可以浓缩成三点:媒体只编码一次——全部题目拼进同一条 Qwen 序列;一次前向、一张反向图——所有候选 logits 共享计算图同时产出;头部完全共享——Mixer 用四个语义角色为每个候选独立打分,参数不随题目数增长。理解了这个模式,你就掌握了 Valen 从数据合并、两阶段训练到批量推理的完整链路,也能看懂官方配方中 microbatch_size、question_mean 等参数的真实含义。🎯



