Pretrained版和后训练版怎么选?InternVL3-8B-Pretrained版本差异完整说明

原创2026-10-18 09:50:351,729 阅读

Pretrained版和后训练版怎么选?InternVL3-8B-Pretrained版本差异完整说明

InternVL3-8B-Pretrained 是上海 AI Lab 开源多模态大模型 InternVL3-8B 的预训练版本:它已完成原生多模态预训练,但没有经过 SFT 和 MPO 后训练。本文帮你一次性搞清楚两个版本的差异,以及你的场景到底该选哪一个。

30秒快速结论:先看这张对照表

你的需求 推荐版本
开箱即用:看图说话、文档理解、GUI 问答 ✅ InternVL3-8B(后训练版)
想继续微调:垂直领域(工业、医疗、图表等) ✅ InternVL3-8B-Pretrained(本仓库)
研究多模态训练方法、消融实验 ✅ InternVL3-8B-Pretrained
拿不准选哪个 ✅ 官方建议直接用后训练版

官方在 README.md 中明确写道:

这是 InternVL3-8B 的预训练版本,已完成原生多模态预训练,但未进行后训练(即 SFT 和 MPO)。如果你不确定该用哪个版本,请使用 InternVL3-8B 版本。

一句话总结:日常用模型选后训练版;把模型当"底座"再加工,才选 Pretrained 版。

版本差异的根源:模型训练的三个环节

多模态大模型的完整训练流程分为三个阶段,两个版本的核心差异就在于"走到了哪一步":

┌─────────────────────────────────────────────┐
│  ① 原生多模态预训练 (Pre-training)            │  ← Pretrained 版到这里为止
│  图文数据 + 文本语料统一学习                   │
├─────────────────────────────────────────────┤
│  ② 监督微调 (SFT)                            │
│  高质量指令数据,学会"听懂人话、好好回答"        │
├─────────────────────────────────────────────┤
│  ③ 混合偏好优化 (MPO)                         │
│  正负样本对齐分布,强化推理 (CoT) 能力          │
└─────────────────────────────────────────────┘

① 预训练:只教"看懂",没教"对话"

Pretrained 版通过原生多模态预训练(Native Multimodal Pre-Training)完成训练:不再像传统方案那样"先训纯文本模型、再对齐视觉模态",而是把图文、视频文本、交错图文数据与大规模文本语料混在一起,一次性让模型同时掌握语言和多模态表征。

这意味着 Pretrained 版:

  • ✅ 具备扎实的图像/视频理解基础,纯文本能力甚至优于其语言底座 Qwen2.5
  • ❌ 没有学会遵循指令,直接提问往往回答"不像人话"
  • ❌ 没有经过推理能力强化(CoT),数学、图表推理偏弱

②③ 后训练(SFT + MPO):教"好好说话"

后训练版 InternVL3-8B 在此基础上又走了两步:

  • SFT:用更高质、更多样的指令数据(工具使用、3D 场景、GUI 操作、长上下文、科学图表等)教会模型遵循指令
  • MPO(Mixed Preference Optimization):针对"训练时看标准答案、推理时看自己输出"的分布偏移问题,用正负样本组合损失函数,官方消融实验显示 38B/78B 模型在 7 个多模态推理基准上平均提升 4.1~4.5 分

所以同样看图,后训练版回答更准、更顺、推理更强。

两个版本差异总览

对比项 InternVL3-8B-Pretrained(本仓库) InternVL3-8B(后训练版)
训练阶段 仅原生多模态预训练 预训练 + SFT + MPO
指令遵循 弱 强
图像/视频理解 基础能力具备 更强、表述更准
推理(CoT)能力 基础 MPO 显著增强
幻觉控制 一般 更好
适合角色 微调底座 直接部署使用
加载方式 相同(transformers) 相同

💡 架构层面两者完全一致,差别只在权重所代表的训练进度。

架构速览:两个版本共用同一套"骨架"

两个版本都沿用 InternVL 家族的 ViT-MLP-LLM 三段式架构,模型定义见 modeling_internvl_chat.py:

  • 视觉塔:InternViT-300M-448px-V2_5,动态分辨率切块(448×448,最多 12 块)
  • 连接器:MLP 投影层,负责把视觉特征"翻译"给语言模型
  • 语言模型:Qwen2.5-7B
  • V2PE:可变视觉位置编码,提升长上下文视觉理解能力

具体超参(如下采样比例 downsample_ratio、max_dynamic_patch: 12)可在 config.json 中查看;对话模板定义在 conversation.py。

InternVL3-8B 多模态大模型图像理解示例图:小熊猫

上图为仓库自带的 examples/image1.jpg 示例图,InternVL3 的动态分辨率机制会自动将其切分为若干 448×448 块再送入视觉塔。

快速上手:下载与加载

本地克隆仓库(约 16GB,4 个分片权重文件):

git clone https://gitcode.com/OpenGVLab/InternVL3-8B-Pretrained

两个版本加载方式完全相同,只是模型名不同(需要 transformers>=4.37.2):

import torch
from transformers import AutoModel, AutoTokenizer

# 选 Pretrained 版:作为微调底座
model = AutoModel.from_pretrained(
    "OpenGVLab/InternVL3-8B-Pretrained",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).eval().cuda()

微调方面,InternVL 官方训练框架以及 SWIFT、XTuner 等主流工具均支持 InternVL 系列,可在 Pretrained 版基础上进行 SFT。

决策清单:按场景对号入座

选 InternVL3-8B-Pretrained,如果你:

  • 要在垂直领域(工业质检、医疗影像、金融图表等)继续微调自己的模型
  • 希望注入自定义的回复风格,不被现有指令习惯"带偏"
  • 做多模态训练技术(预训练策略、数据配比)的研究或消融实验

选 InternVL3-8B(后训练版),如果你:

  • 希望开箱即用:看图描述、OCR 文档、GUI 操作、视频问答
  • 要面向最终用户的产品,关注回答质量与稳定性
  • 需要较强的多模态推理与数学图表能力

🎯 记住这个心法:Pretrained 版是"毛坯房",后训练版是"精装修"——自住选精装,二次装修选毛坯。

延伸阅读:仓库内关键文件

文件 说明
README.md 官方文档:训练策略、评测结果、快速上手
config.json 模型架构配置(视觉塔 + LLM 超参)
modeling_internvl_chat.py 模型推理核心实现(含 chat 接口)
modeling_intern_vit.py 视觉塔 InternViT 实现
conversation.py 对话模板(internvl2_5 模板)
tokenizer.json 分词器(含 <image> 等视觉特殊 token)
model-00001-of-00004.safetensors 模型权重分片(共 4 个)
examples/image1.jpg、examples/red-panda.mp4 官方示例:单图与视频输入
登录后查看全文
InternVL3-8B-Pretrained