Pretrained版和后训练版怎么选?InternVL3-8B-Pretrained版本差异完整说明
Pretrained版和后训练版怎么选?InternVL3-8B-Pretrained版本差异完整说明
InternVL3-8B-Pretrained 是上海 AI Lab 开源多模态大模型 InternVL3-8B 的预训练版本:它已完成原生多模态预训练,但没有经过 SFT 和 MPO 后训练。本文帮你一次性搞清楚两个版本的差异,以及你的场景到底该选哪一个。
30秒快速结论:先看这张对照表
| 你的需求 | 推荐版本 |
|---|---|
| 开箱即用:看图说话、文档理解、GUI 问答 | ✅ InternVL3-8B(后训练版) |
| 想继续微调:垂直领域(工业、医疗、图表等) | ✅ InternVL3-8B-Pretrained(本仓库) |
| 研究多模态训练方法、消融实验 | ✅ InternVL3-8B-Pretrained |
| 拿不准选哪个 | ✅ 官方建议直接用后训练版 |
官方在 README.md 中明确写道:
这是 InternVL3-8B 的预训练版本,已完成原生多模态预训练,但未进行后训练(即 SFT 和 MPO)。如果你不确定该用哪个版本,请使用 InternVL3-8B 版本。
一句话总结:日常用模型选后训练版;把模型当"底座"再加工,才选 Pretrained 版。
版本差异的根源:模型训练的三个环节
多模态大模型的完整训练流程分为三个阶段,两个版本的核心差异就在于"走到了哪一步":
┌─────────────────────────────────────────────┐
│ ① 原生多模态预训练 (Pre-training) │ ← Pretrained 版到这里为止
│ 图文数据 + 文本语料统一学习 │
├─────────────────────────────────────────────┤
│ ② 监督微调 (SFT) │
│ 高质量指令数据,学会"听懂人话、好好回答" │
├─────────────────────────────────────────────┤
│ ③ 混合偏好优化 (MPO) │
│ 正负样本对齐分布,强化推理 (CoT) 能力 │
└─────────────────────────────────────────────┘
① 预训练:只教"看懂",没教"对话"
Pretrained 版通过原生多模态预训练(Native Multimodal Pre-Training)完成训练:不再像传统方案那样"先训纯文本模型、再对齐视觉模态",而是把图文、视频文本、交错图文数据与大规模文本语料混在一起,一次性让模型同时掌握语言和多模态表征。
这意味着 Pretrained 版:
- ✅ 具备扎实的图像/视频理解基础,纯文本能力甚至优于其语言底座 Qwen2.5
- ❌ 没有学会遵循指令,直接提问往往回答"不像人话"
- ❌ 没有经过推理能力强化(CoT),数学、图表推理偏弱
②③ 后训练(SFT + MPO):教"好好说话"
后训练版 InternVL3-8B 在此基础上又走了两步:
- SFT:用更高质、更多样的指令数据(工具使用、3D 场景、GUI 操作、长上下文、科学图表等)教会模型遵循指令
- MPO(Mixed Preference Optimization):针对"训练时看标准答案、推理时看自己输出"的分布偏移问题,用正负样本组合损失函数,官方消融实验显示 38B/78B 模型在 7 个多模态推理基准上平均提升 4.1~4.5 分
所以同样看图,后训练版回答更准、更顺、推理更强。
两个版本差异总览
| 对比项 | InternVL3-8B-Pretrained(本仓库) | InternVL3-8B(后训练版) |
|---|---|---|
| 训练阶段 | 仅原生多模态预训练 | 预训练 + SFT + MPO |
| 指令遵循 | 弱 | 强 |
| 图像/视频理解 | 基础能力具备 | 更强、表述更准 |
| 推理(CoT)能力 | 基础 | MPO 显著增强 |
| 幻觉控制 | 一般 | 更好 |
| 适合角色 | 微调底座 | 直接部署使用 |
| 加载方式 | 相同(transformers) | 相同 |
💡 架构层面两者完全一致,差别只在权重所代表的训练进度。
架构速览:两个版本共用同一套"骨架"
两个版本都沿用 InternVL 家族的 ViT-MLP-LLM 三段式架构,模型定义见 modeling_internvl_chat.py:
- 视觉塔:InternViT-300M-448px-V2_5,动态分辨率切块(448×448,最多 12 块)
- 连接器:MLP 投影层,负责把视觉特征"翻译"给语言模型
- 语言模型:Qwen2.5-7B
- V2PE:可变视觉位置编码,提升长上下文视觉理解能力
具体超参(如下采样比例 downsample_ratio、max_dynamic_patch: 12)可在 config.json 中查看;对话模板定义在 conversation.py。
上图为仓库自带的 examples/image1.jpg 示例图,InternVL3 的动态分辨率机制会自动将其切分为若干 448×448 块再送入视觉塔。
快速上手:下载与加载
本地克隆仓库(约 16GB,4 个分片权重文件):
git clone https://gitcode.com/OpenGVLab/InternVL3-8B-Pretrained
两个版本加载方式完全相同,只是模型名不同(需要 transformers>=4.37.2):
import torch
from transformers import AutoModel, AutoTokenizer
# 选 Pretrained 版:作为微调底座
model = AutoModel.from_pretrained(
"OpenGVLab/InternVL3-8B-Pretrained",
torch_dtype=torch.bfloat16,
trust_remote_code=True,
).eval().cuda()
微调方面,InternVL 官方训练框架以及 SWIFT、XTuner 等主流工具均支持 InternVL 系列,可在 Pretrained 版基础上进行 SFT。
决策清单:按场景对号入座
选 InternVL3-8B-Pretrained,如果你:
- 要在垂直领域(工业质检、医疗影像、金融图表等)继续微调自己的模型
- 希望注入自定义的回复风格,不被现有指令习惯"带偏"
- 做多模态训练技术(预训练策略、数据配比)的研究或消融实验
选 InternVL3-8B(后训练版),如果你:
- 希望开箱即用:看图描述、OCR 文档、GUI 操作、视频问答
- 要面向最终用户的产品,关注回答质量与稳定性
- 需要较强的多模态推理与数学图表能力
🎯 记住这个心法:Pretrained 版是"毛坯房",后训练版是"精装修"——自住选精装,二次装修选毛坯。
延伸阅读:仓库内关键文件
| 文件 | 说明 |
|---|---|
| README.md | 官方文档:训练策略、评测结果、快速上手 |
| config.json | 模型架构配置(视觉塔 + LLM 超参) |
| modeling_internvl_chat.py | 模型推理核心实现(含 chat 接口) |
| modeling_intern_vit.py | 视觉塔 InternViT 实现 |
| conversation.py | 对话模板(internvl2_5 模板) |
| tokenizer.json | 分词器(含 <image> 等视觉特殊 token) |
| model-00001-of-00004.safetensors | 模型权重分片(共 4 个) |
| examples/image1.jpg、examples/red-panda.mp4 | 官方示例:单图与视频输入 |
