InternVL2_5-4B-MPO微调与数据构建指南:MMPR偏好数据集与Dropout NTP方法深度剖析

原创2026-10-17 09:04:141,440 阅读

InternVL2_5-4B-MPO微调与数据构建指南:MMPR偏好数据集与Dropout NTP方法深度剖析

InternVL2_5-4B-MPO 是 OpenGVLab 开源的多模态大语言模型(MLLM)微调版本,基于 InternVL2.5 结合混合偏好优化(MPO)训练而成。本文将带你快速看懂它的两大核心:约 300 万样本的 MMPR 多模态偏好数据集 构建流水线,以及用于无标准答案样本的 Dropout NTP 数据构造方法,并给出微调与推理的快速上手要点。

InternVL2_5-4B-MPO 多模态大模型图像理解示例

🎯 它是什么:InternVL2.5 家族的 MPO 增强版

InternVL2.5-MPO 系列沿用经典的 "ViT-MLP-LLM" 架构范式:视觉编码器 InternViT 提取图像特征,经 MLP 投影层对齐后送入 LLM 生成回答。其中 4B 版本的组合为:

组件 配置
视觉部分 InternViT-300M-448px-V2_5
语言部分 Qwen2.5-3B-Instruct
架构类 InternVLChatModel

你可以在 config.json 中确认这些配置:force_image_size: 448(448×448 动态分辨率切块)、max_dynamic_patch: 12(最多 12 个图像块 + 缩略图)、template: internvl2_5 等。图像先被切分为 448×448 的 tile,再经过 pixel unshuffle 将视觉 token 数压缩到原来的 1/4,因此单卡即可高效推理。

💡 模型架构源码参见:modeling_internvl_chat.py、modeling_intern_vit.py、configuration_internvl_chat.py

📊 MMPR:约 300 万样本的多模态推理偏好数据集

MMPR 是 MPO 系列模型的"数据基石"。它把多模态数据分为两类,分别用不同方式构造 chosen/rejected 偏好对:

1️⃣ 有明确标准答案的样本

  • 提示模型先给出推理过程,最后以 Final Answer: *** 格式输出答案;
  • 与标准答案一致的回复进入正例集 Y_p,不一致(或没有明确最终答案)的进入负例集 Y_n;
  • 从 Y_p 中挑选 chosen 回复 y_c,从 Y_n 中挑选 rejected 回复 y_r,组成偏好对。

2️⃣ 无明确标准答案的样本:Dropout NTP 方法 ✂️

这是 MMPR 最具巧思的设计——Dropout Next-Token Prediction(Dropout NTP),流程如下:

  1. 用 InternVL2-8B 看着图片生成一条完整回答,作为 chosen 答案;
  2. 将这条答案截断一半;
  3. 让 InternVL2-8B 在看不到图片的情况下续写剩余部分,得到 rejected 答案。

关键洞察在于:有图像输入时模型能看到真实内容,而"丢图"后生成的续写会引入更多幻觉,因此 chosen 与 rejected 之间的偏好顺序天然成立。这样既无需人工标注,又能规模化地构造高质量偏好数据。

⚖️ MPO:偏好、质量、生成三重损失

混合偏好优化(Mixed Preference Optimization)的核心思想是:有效的偏好优化过程应让模型同时学会 响应对的相对偏好、单个响应的绝对质量、以及优先生成过程,因此训练目标为:

L=wp⋅Lp+wq⋅Lq+wg⋅Lg\mathcal{L}=w_{p}\cdot\mathcal{L}_{\text{p}} + w_{q}\cdot\mathcal{L}_{\text{q}} + w_{g}\cdot\mathcal{L}_{\text{g}}

损失项 采用方法 作用
偏好损失 L_p DPO 学习 chosen 与 rejected 之间的相对偏好
质量损失 L_q BCO 理解单个响应的绝对质量,其中 δ 用历史奖励的滑动平均稳定训练
生成损失 L_g SFT 学习如何生成优质回答,避免偏好优化"只会挑、不会写"

📈 MPO 带来多少提升?

官方评测显示,MPO 后各尺寸模型全面涨分,4B 版本表现尤为突出:

模型 Avg. MMBench v1.1 MMStar MathVista OCRBench MMVet
InternVL2.5-4B 65.1 78.2 58.7 60.8 82.0 61.5
InternVL2_5-4B-MPO 67.6 78.6 60.2 65.3 88.0 67.1
InternVL2.5-8B 68.9 82.5 63.2 64.5 82.1 62.8
InternVL2_5-8B-MPO 70.4 82.4 65.7 68.9 88.3 66.9

4B 模型 MPO 后平均提升 2.5 分,在 MathVista(+4.5)与 MMVet(+5.6)上提升明显——这正是偏好数据强化推理能力的直接体现。

🚀 微调与快速上手

加载与推理

建议使用 transformers>=4.37.2,加载示例(支持 16-bit 与 BNB 8-bit 量化):

import torch
from transformers import AutoModel, AutoTokenizer

path = "OpenGVLab/InternVL2_5-4B-MPO"
model = AutoModel.from_pretrained(
    path, torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True, use_flash_attn=True,
    trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

推理示例(<image> 占位符 + 图像块输入):

pixel_values = load_image('./examples/image1.jpg', max_num=12).to(torch.bfloat16).cuda()
response = model.chat(tokenizer, pixel_values,
    '<image>\nPlease describe the image shortly.',
    dict(max_new_tokens=1024, do_sample=True))

完整可运行脚本见 README.md 的 Quick Start 章节,其中还包含多图对话、视频多轮对话(可用 examples/red-panda.mp4 测试)与流式输出写法。

如何微调?

InternVL 系列已有多个主流微调框架支持,官方推荐:

  • InternVL 官方仓库:功能最完整,覆盖 SFT 与偏好优化全流程;
  • SWIFT(ModelScope 出品):一行命令完成多模态模型微调;
  • XTuner(InternLM 团队):支持 LoRA/QLoRA 轻量微调。

由于 MPO 是"偏好优化"训练,二次微调时你可以:

  1. SFT 阶段:准备"指令-图像-回答"三元组数据,只训练 LLM 部分或全参数;
  2. 偏好阶段:按 MMPR 思路构造 chosen/rejected 数据对,用 DPO 类算法对齐,可参考文中 Dropout NTP 思想批量生成负样本;
  3. 省显存技巧:load_in_8bit=True 量化微调,或对 use_llm_lora / use_backbone_lora 相关模块启用 LoRA(配置项见 config.json)。

📁 仓库文件速览

文件 说明
README.md 项目总览、架构图、完整推理/部署教程
config.json 模型主配置(视觉 + LLM 双配置)
modeling_internvl_chat.py 对话模型主体实现
modeling_intern_vit.py InternViT 视觉编码器实现
conversation.py 对话模板与多轮历史管理
preprocessor_config.json 图像预处理参数
tokenizer_config.json、vocab.json、merges.txt 分词器词表与配置
examples/image1.jpg、examples/image2.jpg 示例输入图像

🏁 小结

InternVL2_5-4B-MPO 展示了"数据 + 算法"双轮驱动的多模态微调范式:MMPR 用标准答案校验与 Dropout NTP 两条流水线低成本地构造了约 300 万偏好样本;MPO 则以 DPO + BCO + SFT 三重损失同时优化相对偏好、绝对质量与生成能力。对新手而言,先用官方推理代码跑通 examples/ 中的示例,再借助 SWIFT/XTuner 微调自己的领域数据,是最顺滑的上手路径。

📎 完整数据构建流水线与偏好优化细节,可参考 README 中指向的 InternVL 官方文档"Generate additional preference data"章节。

登录后查看全文
InternVL2_5-4B-MPO