MPO是什么?深度解析InternVL3_5-1B-MPO混合偏好优化的训练原理
MPO是什么?深度解析InternVL3_5-1B-MPO混合偏好优化的训练原理
MPO(Mixed Preference Optimization,混合偏好优化)是开源多模态大模型 InternVL3_5-1B-MPO 能够"答得更好、说得更像人话"的核心训练技术。本文以 1.1B 参数的轻量级多模态模型 InternVL3_5-1B-MPO 为例,用通俗的语言讲清楚三件事:MPO 是什么、它的三段式损失函数如何工作、以及它在 CascadeRL 训练流水线中处于什么位置——帮助你在 5 分钟内理解这个模型权重的来历,并选对可用的检查点版本。
一句话看懂 MPO:三种后训练技术的"混合体"
MPO 是 InternVL 团队提出的一种离线强化学习(Offline RL) 对齐算法。它的核心思想很简单:把三种各有优缺点的训练信号混合进同一个损失函数里,一次训练同时获得三重收益 👇
| 训练信号 | 来源技术 | 直白理解 |
|---|---|---|
| 偏好信号 | DPO(直接偏好优化) | 让模型更爱输出"好答案",远离"坏答案" |
| 质量信号 | BCO(行为对比优化) | 不只对比好坏,还推动回答本身质量更高 |
| 生成信号 | LM Loss(语言建模损失) | 保持模型"会说话"的基本能力,防止能力退化 |
打个比方:DPO 像"错题对比",只告诉学生哪道题做得对哪道题错;而 MPO 额外要求"卷面分要高"(BCO),并且"每天坚持练字别把字写丢了"(LM Loss)。
💡 关键点:MPO 属于离线 RL——它直接消费事先收集好的偏好数据集,不需要模型在训练中实时采样,因此训练稳定、GPU 成本低,非常适合作为对齐训练的"热身"阶段。
MPO 损失函数拆解:三个损失的加权组合
MPO 的总损失由三部分组成,公式如下:
| 符号 | 对应损失 | 实际采用 | 作用 |
|---|---|---|---|
| 偏好损失 | DPO Loss | 拉开"优选回答"与"劣选回答"的概率差距 | |
| 质量损失 | BCO Loss | 提升被优选回答的绝对质量 | |
| 生成损失 | LM Loss | 锚定语言生成能力,避免训练"翻车" |
其中 、、 是三个损失分支的权重系数,控制每种信号的贡献比例。为什么要"混合"?因为单一算法都有短板:只用 DPO 可能出现"好答案和坏答案一起变差"的退化现象,只用 BCO 又缺少明确的偏好方向。MPO 把三者结合,兼顾了方向感(偏好)、高度(质量)与稳定性(生成能力)。
训练流水线全景:InternVL3_5-1B-MPO 是第几阶段的产物?
InternVL3.5 系列采用四阶段训练流水线,MPO 是其中的第三阶段,隶属于 CascadeRL(级联强化学习)框架:
| 阶段 | 名称 | 做什么 |
|---|---|---|
| ① | CPT(多模态持续预训练) | 用大规模图文语料联合更新全部参数 |
| ② | SFT(监督微调) | 用高质量指令数据对齐回答风格,支持 32K 长上下文 |
| ③ | MPO(离线 RL) ⭐ 本文主角 | 用偏好数据集做混合偏好优化,快速拉高回答质量 |
| ④ | GSPO(在线 RL) | 用模型自己采样的回答继续精修分布 |
CascadeRL 的"先离线、后在线"策略是精髓所在:
- MPO 热身:离线数据训练快速收敛,把输出质量抬到高位;
- GSPO 精修:高质量的 MPO 模型能产出更高质量的 rollout,在线阶段事半功倍。
官方实验表明,相比单独只用离线或在线 RL,这种级联策略能以一小部分 GPU 时间成本取得显著的性能提升。
而 InternVL3_5-1B-MPO 正是完成 ①②③ 阶段后的检查点(即 CPT + SFT + MPO)。根据 README.md 的元信息,它基于 InternVL3_5-1B-Instruct 继续微调而来,使用的偏好数据集为 MMPR-v1.2 与 MMPR-Tiny 两个多模态偏好数据集。
模型本体解剖:1.1B 参数如何撑起多模态能力?
InternVL3.5 沿用 "ViT–MLP–LLM" 三段式架构,1B 小模型的配置如下:
| 组件 | 选型 | 参数规模 |
|---|---|---|
| 视觉编码器 | InternViT-300M | 约 0.3B |
| 语言模型 | Qwen3-0.6B | 约 0.8B |
| 合计 | — | 约 1.1B |
从 config.json 中可以看到几个关键设计:
- 动态高分辨率策略:
"dynamic_image_size": true,单张图最多切分为max_dynamic_patch: 12个 448×448 图块,细节丰富的图片自动获得更高有效分辨率; - 视觉 token 压缩:
downsample_ratio: 0.5表示通过 pixel shuffle 模块对视觉特征做 2 倍下采样,减少送入 LLM 的 token 数量,降低推理成本。
📦 本仓库即为可直接加载的模型权重,单张消费级显卡即可部署 1B 版本。
仓库核心文件速览
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重文件 |
| config.json | 模型结构与超参数配置 |
| modeling_internvl_chat.py | 多模态模型前向计算与 chat 推理接口 |
| modeling_intern_vit.py | 视觉编码器(ViT)实现 |
| conversation.py | 对话模板定义(本模型使用 internvl2_5 模板) |
| added_tokens.json | <img>、<IMG_CONTEXT> 等多模态特殊 token |
| vocab.json / merges.txt | 分词器词表与合并规则 |
快速上手:加载 InternVL3_5-1B-MPO 检查点
使用 HuggingFace transformers 库即可加载(需 transformers>=4.52.1),注意模型使用自定义代码,必须开启 trust_remote_code=True:
import torch
from transformers import AutoModel, AutoTokenizer
path = "OpenGVLab/InternVL3_5-1B-MPO"
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True,
).eval().cuda()
调用 model.chat(tokenizer, pixel_values, question, generation_config) 即可完成图文对话,完整示例见 README.md 的 Quick Start 部分。
选版本指南:Instruct、MPO 还是正式版?
InternVL3.5 官方同时开源了各训练阶段的检查点,不确定选哪个时按下面的表对照即可:
| 版本 | 训练流水线 | 特点与适用场景 |
|---|---|---|
-Instruct |
CPT + SFT | 指令跟随基线,未做偏好对齐 |
-MPO ⭐ |
CPT + SFT + MPO | 离线偏好对齐已完成,回答质量明显提升,适合想研究 MPO 效果或资源有限的部署 |
| (无后缀正式版) | CPT + SFT + CascadeRL | 完整流水线(含在线 RL),推理能力最强,官方推荐默认选择 |
✅ 官方建议:如果拿不定主意,直接选无后缀的正式版;如果你的目标是轻量部署、快速验证或研究 MPO 这一阶段本身,
InternVL3_5-1B-MPO是性价比很高的选择。
总结
- MPO 是什么:混合偏好优化,把 DPO 偏好损失、BCO 质量损失、LM 生成损失加权合并的离线 RL 对齐算法;
- 为什么有效:方向感、质量与稳定性三合一,训练稳定且成本低,为后续在线 RL 打下高质量基础;
- InternVL3_5-1B-MPO 是什么:InternVL3.5 系列 1.1B 多模态模型完成 CPT + SFT + MPO 三个阶段后的检查点,单卡可跑、开箱即用。
想深入了解 MPO 与 GSPO 的更多技术细节与实验数据,可以参考仓库中的 README.md(含训练流水线与消融实验章节),以及模型架构实现 modeling_internvl_chat.py。