InternVL2_5-4B-MPO微调与数据构建指南:MMPR偏好数据集与Dropout NTP方法深度剖析
InternVL2_5-4B-MPO微调与数据构建指南:MMPR偏好数据集与Dropout NTP方法深度剖析
InternVL2_5-4B-MPO 是 OpenGVLab 开源的多模态大语言模型(MLLM)微调版本,基于 InternVL2.5 结合混合偏好优化(MPO)训练而成。本文将带你快速看懂它的两大核心:约 300 万样本的 MMPR 多模态偏好数据集 构建流水线,以及用于无标准答案样本的 Dropout NTP 数据构造方法,并给出微调与推理的快速上手要点。
🎯 它是什么:InternVL2.5 家族的 MPO 增强版
InternVL2.5-MPO 系列沿用经典的 "ViT-MLP-LLM" 架构范式:视觉编码器 InternViT 提取图像特征,经 MLP 投影层对齐后送入 LLM 生成回答。其中 4B 版本的组合为:
| 组件 | 配置 |
|---|---|
| 视觉部分 | InternViT-300M-448px-V2_5 |
| 语言部分 | Qwen2.5-3B-Instruct |
| 架构类 | InternVLChatModel |
你可以在 config.json 中确认这些配置:force_image_size: 448(448×448 动态分辨率切块)、max_dynamic_patch: 12(最多 12 个图像块 + 缩略图)、template: internvl2_5 等。图像先被切分为 448×448 的 tile,再经过 pixel unshuffle 将视觉 token 数压缩到原来的 1/4,因此单卡即可高效推理。
💡 模型架构源码参见:modeling_internvl_chat.py、modeling_intern_vit.py、configuration_internvl_chat.py
📊 MMPR:约 300 万样本的多模态推理偏好数据集
MMPR 是 MPO 系列模型的"数据基石"。它把多模态数据分为两类,分别用不同方式构造 chosen/rejected 偏好对:
1️⃣ 有明确标准答案的样本
- 提示模型先给出推理过程,最后以
Final Answer: ***格式输出答案; - 与标准答案一致的回复进入正例集 Y_p,不一致(或没有明确最终答案)的进入负例集 Y_n;
- 从 Y_p 中挑选 chosen 回复 y_c,从 Y_n 中挑选 rejected 回复 y_r,组成偏好对。
2️⃣ 无明确标准答案的样本:Dropout NTP 方法 ✂️
这是 MMPR 最具巧思的设计——Dropout Next-Token Prediction(Dropout NTP),流程如下:
- 用 InternVL2-8B 看着图片生成一条完整回答,作为 chosen 答案;
- 将这条答案截断一半;
- 让 InternVL2-8B 在看不到图片的情况下续写剩余部分,得到 rejected 答案。
关键洞察在于:有图像输入时模型能看到真实内容,而"丢图"后生成的续写会引入更多幻觉,因此 chosen 与 rejected 之间的偏好顺序天然成立。这样既无需人工标注,又能规模化地构造高质量偏好数据。
⚖️ MPO:偏好、质量、生成三重损失
混合偏好优化(Mixed Preference Optimization)的核心思想是:有效的偏好优化过程应让模型同时学会 响应对的相对偏好、单个响应的绝对质量、以及优先生成过程,因此训练目标为:
| 损失项 | 采用方法 | 作用 |
|---|---|---|
| 偏好损失 L_p | DPO | 学习 chosen 与 rejected 之间的相对偏好 |
| 质量损失 L_q | BCO | 理解单个响应的绝对质量,其中 δ 用历史奖励的滑动平均稳定训练 |
| 生成损失 L_g | SFT | 学习如何生成优质回答,避免偏好优化"只会挑、不会写" |
📈 MPO 带来多少提升?
官方评测显示,MPO 后各尺寸模型全面涨分,4B 版本表现尤为突出:
| 模型 | Avg. | MMBench v1.1 | MMStar | MathVista | OCRBench | MMVet |
|---|---|---|---|---|---|---|
| InternVL2.5-4B | 65.1 | 78.2 | 58.7 | 60.8 | 82.0 | 61.5 |
| InternVL2_5-4B-MPO | 67.6 | 78.6 | 60.2 | 65.3 | 88.0 | 67.1 |
| InternVL2.5-8B | 68.9 | 82.5 | 63.2 | 64.5 | 82.1 | 62.8 |
| InternVL2_5-8B-MPO | 70.4 | 82.4 | 65.7 | 68.9 | 88.3 | 66.9 |
4B 模型 MPO 后平均提升 2.5 分,在 MathVista(+4.5)与 MMVet(+5.6)上提升明显——这正是偏好数据强化推理能力的直接体现。
🚀 微调与快速上手
加载与推理
建议使用 transformers>=4.37.2,加载示例(支持 16-bit 与 BNB 8-bit 量化):
import torch
from transformers import AutoModel, AutoTokenizer
path = "OpenGVLab/InternVL2_5-4B-MPO"
model = AutoModel.from_pretrained(
path, torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True, use_flash_attn=True,
trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
推理示例(<image> 占位符 + 图像块输入):
pixel_values = load_image('./examples/image1.jpg', max_num=12).to(torch.bfloat16).cuda()
response = model.chat(tokenizer, pixel_values,
'<image>\nPlease describe the image shortly.',
dict(max_new_tokens=1024, do_sample=True))
完整可运行脚本见 README.md 的 Quick Start 章节,其中还包含多图对话、视频多轮对话(可用 examples/red-panda.mp4 测试)与流式输出写法。
如何微调?
InternVL 系列已有多个主流微调框架支持,官方推荐:
- InternVL 官方仓库:功能最完整,覆盖 SFT 与偏好优化全流程;
- SWIFT(ModelScope 出品):一行命令完成多模态模型微调;
- XTuner(InternLM 团队):支持 LoRA/QLoRA 轻量微调。
由于 MPO 是"偏好优化"训练,二次微调时你可以:
- SFT 阶段:准备"指令-图像-回答"三元组数据,只训练 LLM 部分或全参数;
- 偏好阶段:按 MMPR 思路构造 chosen/rejected 数据对,用 DPO 类算法对齐,可参考文中 Dropout NTP 思想批量生成负样本;
- 省显存技巧:
load_in_8bit=True量化微调,或对use_llm_lora/use_backbone_lora相关模块启用 LoRA(配置项见 config.json)。
📁 仓库文件速览
| 文件 | 说明 |
|---|---|
| README.md | 项目总览、架构图、完整推理/部署教程 |
| config.json | 模型主配置(视觉 + LLM 双配置) |
| modeling_internvl_chat.py | 对话模型主体实现 |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| conversation.py | 对话模板与多轮历史管理 |
| preprocessor_config.json | 图像预处理参数 |
| tokenizer_config.json、vocab.json、merges.txt | 分词器词表与配置 |
| examples/image1.jpg、examples/image2.jpg | 示例输入图像 |
🏁 小结
InternVL2_5-4B-MPO 展示了"数据 + 算法"双轮驱动的多模态微调范式:MMPR 用标准答案校验与 Dropout NTP 两条流水线低成本地构造了约 300 万偏好样本;MPO 则以 DPO + BCO + SFT 三重损失同时优化相对偏好、绝对质量与生成能力。对新手而言,先用官方推理代码跑通 examples/ 中的示例,再借助 SWIFT/XTuner 微调自己的领域数据,是最顺滑的上手路径。
📎 完整数据构建流水线与偏好优化细节,可参考 README 中指向的 InternVL 官方文档"Generate additional preference data"章节。
