MPO是什么?深度解析InternVL3_5-1B-MPO混合偏好优化的训练原理

原创2026-10-21 13:46:071,828 阅读

MPO是什么?深度解析InternVL3_5-1B-MPO混合偏好优化的训练原理

MPO(Mixed Preference Optimization,混合偏好优化)是开源多模态大模型 InternVL3_5-1B-MPO 能够"答得更好、说得更像人话"的核心训练技术。本文以 1.1B 参数的轻量级多模态模型 InternVL3_5-1B-MPO 为例,用通俗的语言讲清楚三件事:MPO 是什么、它的三段式损失函数如何工作、以及它在 CascadeRL 训练流水线中处于什么位置——帮助你在 5 分钟内理解这个模型权重的来历,并选对可用的检查点版本。

一句话看懂 MPO:三种后训练技术的"混合体"

MPO 是 InternVL 团队提出的一种离线强化学习(Offline RL) 对齐算法。它的核心思想很简单:把三种各有优缺点的训练信号混合进同一个损失函数里,一次训练同时获得三重收益 👇

训练信号 来源技术 直白理解
偏好信号 DPO(直接偏好优化) 让模型更爱输出"好答案",远离"坏答案"
质量信号 BCO(行为对比优化) 不只对比好坏,还推动回答本身质量更高
生成信号 LM Loss(语言建模损失) 保持模型"会说话"的基本能力,防止能力退化

打个比方:DPO 像"错题对比",只告诉学生哪道题做得对哪道题错;而 MPO 额外要求"卷面分要高"(BCO),并且"每天坚持练字别把字写丢了"(LM Loss)。

💡 关键点:MPO 属于离线 RL——它直接消费事先收集好的偏好数据集,不需要模型在训练中实时采样,因此训练稳定、GPU 成本低,非常适合作为对齐训练的"热身"阶段。

MPO 损失函数拆解:三个损失的加权组合

MPO 的总损失由三部分组成,公式如下:

LMPO=wpLp+wqLq+wgLg\mathcal{L}_{\text{MPO}} = w_p \mathcal{L}_p + w_q \mathcal{L}_q + w_g \mathcal{L}_g

符号 对应损失 实际采用 作用
Lp\mathcal{L}_p 偏好损失 DPO Loss 拉开"优选回答"与"劣选回答"的概率差距
Lq\mathcal{L}_q 质量损失 BCO Loss 提升被优选回答的绝对质量
Lg\mathcal{L}_g 生成损失 LM Loss 锚定语言生成能力,避免训练"翻车"

其中 wpw_p、wqw_q、wgw_g 是三个损失分支的权重系数,控制每种信号的贡献比例。为什么要"混合"?因为单一算法都有短板:只用 DPO 可能出现"好答案和坏答案一起变差"的退化现象,只用 BCO 又缺少明确的偏好方向。MPO 把三者结合,兼顾了方向感(偏好)、高度(质量)与稳定性(生成能力)。

训练流水线全景:InternVL3_5-1B-MPO 是第几阶段的产物?

InternVL3.5 系列采用四阶段训练流水线,MPO 是其中的第三阶段,隶属于 CascadeRL(级联强化学习)框架:

阶段 名称 做什么
① CPT(多模态持续预训练) 用大规模图文语料联合更新全部参数
② SFT(监督微调) 用高质量指令数据对齐回答风格,支持 32K 长上下文
③ MPO(离线 RL) ⭐ 本文主角 用偏好数据集做混合偏好优化,快速拉高回答质量
④ GSPO(在线 RL) 用模型自己采样的回答继续精修分布

CascadeRL 的"先离线、后在线"策略是精髓所在:

  1. MPO 热身:离线数据训练快速收敛,把输出质量抬到高位;
  2. GSPO 精修:高质量的 MPO 模型能产出更高质量的 rollout,在线阶段事半功倍。

官方实验表明,相比单独只用离线或在线 RL,这种级联策略能以一小部分 GPU 时间成本取得显著的性能提升。

而 InternVL3_5-1B-MPO 正是完成 ①②③ 阶段后的检查点(即 CPT + SFT + MPO)。根据 README.md 的元信息,它基于 InternVL3_5-1B-Instruct 继续微调而来,使用的偏好数据集为 MMPR-v1.2 与 MMPR-Tiny 两个多模态偏好数据集。

模型本体解剖:1.1B 参数如何撑起多模态能力?

InternVL3.5 沿用 "ViT–MLP–LLM" 三段式架构,1B 小模型的配置如下:

组件 选型 参数规模
视觉编码器 InternViT-300M 约 0.3B
语言模型 Qwen3-0.6B 约 0.8B
合计 — 约 1.1B

从 config.json 中可以看到几个关键设计:

  • 动态高分辨率策略:"dynamic_image_size": true,单张图最多切分为 max_dynamic_patch: 12 个 448×448 图块,细节丰富的图片自动获得更高有效分辨率;
  • 视觉 token 压缩:downsample_ratio: 0.5 表示通过 pixel shuffle 模块对视觉特征做 2 倍下采样,减少送入 LLM 的 token 数量,降低推理成本。

📦 本仓库即为可直接加载的模型权重,单张消费级显卡即可部署 1B 版本。

仓库核心文件速览

文件 作用
model.safetensors 模型权重文件
config.json 模型结构与超参数配置
modeling_internvl_chat.py 多模态模型前向计算与 chat 推理接口
modeling_intern_vit.py 视觉编码器(ViT)实现
conversation.py 对话模板定义(本模型使用 internvl2_5 模板)
added_tokens.json <img>、<IMG_CONTEXT> 等多模态特殊 token
vocab.json / merges.txt 分词器词表与合并规则

快速上手:加载 InternVL3_5-1B-MPO 检查点

使用 HuggingFace transformers 库即可加载(需 transformers>=4.52.1),注意模型使用自定义代码,必须开启 trust_remote_code=True:

import torch
from transformers import AutoModel, AutoTokenizer

path = "OpenGVLab/InternVL3_5-1B-MPO"
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True,
).eval().cuda()

调用 model.chat(tokenizer, pixel_values, question, generation_config) 即可完成图文对话,完整示例见 README.md 的 Quick Start 部分。

选版本指南:Instruct、MPO 还是正式版?

InternVL3.5 官方同时开源了各训练阶段的检查点,不确定选哪个时按下面的表对照即可:

版本 训练流水线 特点与适用场景
-Instruct CPT + SFT 指令跟随基线,未做偏好对齐
-MPO ⭐ CPT + SFT + MPO 离线偏好对齐已完成,回答质量明显提升,适合想研究 MPO 效果或资源有限的部署
(无后缀正式版) CPT + SFT + CascadeRL 完整流水线(含在线 RL),推理能力最强,官方推荐默认选择

✅ 官方建议:如果拿不定主意,直接选无后缀的正式版;如果你的目标是轻量部署、快速验证或研究 MPO 这一阶段本身,InternVL3_5-1B-MPO 是性价比很高的选择。

总结

  • MPO 是什么:混合偏好优化,把 DPO 偏好损失、BCO 质量损失、LM 生成损失加权合并的离线 RL 对齐算法;
  • 为什么有效:方向感、质量与稳定性三合一,训练稳定且成本低,为后续在线 RL 打下高质量基础;
  • InternVL3_5-1B-MPO 是什么:InternVL3.5 系列 1.1B 多模态模型完成 CPT + SFT + MPO 三个阶段后的检查点,单卡可跑、开箱即用。

想深入了解 MPO 与 GSPO 的更多技术细节与实验数据,可以参考仓库中的 README.md(含训练流水线与消融实验章节),以及模型架构实现 modeling_internvl_chat.py。

登录后查看全文
InternVL3_5-1B-MPO