HoVLE 三阶段训练全解析:蒸馏、对齐、指令微调,一步步把视觉拉进语言空间

原创2026-10-19 11:27:061,369 阅读

HoVLE 三阶段训练全解析:蒸馏、对齐、指令微调,一步步把视觉拉进语言空间

HoVLE 是 OpenGVLab 开源的单体视觉语言模型(Monolithic VLM),本文将带你拆解 HoVLE 的三阶段训练全流程——蒸馏(Distillation)、对齐(Alignment)、指令微调(Instruction Tuning),看它是如何用一个 holistic embedding 模块,把图片和文字投影到同一个嵌入空间,让大语言模型像"读字"一样"读图"的完整训练路径。🎓

🧩 先搞懂:什么是"单体视觉语言模型"

大多数多模态大模型采用组合式(Compositional)结构:独立的视觉编码器(如 ViT)+ Connector 连接器 + 语言模型,图像先被"压缩成几个特征向量"再交给 LLM。

而 HoVLE 走的是单体(Monolithic)路线:图像 token 和文字 token 从入口开始就在同一个因果 Transformer 中统一处理。更妙的是,它没有放弃视觉编码器,而是把图像和文本的嵌入一起送入一个 holistic embedding 模块,让两种模态在共享空间中"面对面"融合——这正是 HoVLE 区别于传统单体模型的关键设计。🔥

HoVLE单体视觉语言模型架构图:组合式VLM、已有单体VLM与HoVLE holistic embedding结构对比

三种范式对比:(a) 组合式 VLM 依赖 Vision Encoder + Connector;(b) 已有单体 VLM 通常需要全量微调 LLM;(c) HoVLE 用 Holistic Embedding 统一投影图像与文本,LLM 可保持冻结。

🧬 HoVLE 的架构:holistic embedding 是核心

HoVLE 由两部分组成:

  • holistic embedding 模块:由与 LLM 结构相同的 8 层因果 Transformer 堆叠而成(复用 InternLM2DecoderLayer),同时接收图像 patch 嵌入和 LLM 的词嵌入;
  • LLM:基于 InternLM2(internlm2-chat-1.8B),最终整个模型 2.6B 参数。

工作流程可以概括为:

  1. 图像经动态切块(Dynamic Process)切出 448×448 的 tile,过 Patch Embedding + 位置编码,再经 pixel shuffle 降采样(downsample_ratio=0.5)压缩 token 数;
  2. 文本直接复用 LLM 的 embedding 权重,同时加入 <img>、<IMG_CONTEXT>、</img> 特殊 token;
  3. 图像嵌入替换掉序列中的 <IMG_CONTEXT> 占位 token,与文本嵌入拼接后送入 Transformer 编码层;
  4. 编码后的统一嵌入(image feature + 全部 token 嵌入)交给 LLM 生成回复。

相关实现可参考 modeling_holistic_embedding.py 中的 forward(图像嵌入替换见 replace_img_tokens),整体调度逻辑在 modeling_internvl_chat.py。

HoVLE holistic embedding模块架构与三阶段训练流程图:蒸馏、对齐、指令微调的损失与可训练部分

📚 三阶段训练策略逐步拆解

HoVLE 的训练按三个损失函数递进展开(图中 L_distill → L_align → L_instruction),每一阶段"解锁"的训练范围逐步扩大:

阶段一:蒸馏(Stage I: Distillation)

  • 训练目标:L_distill,只训练 holistic embedding 模块;
  • 做法:图像分支向**预训练视觉编码器(CLIP)**蒸馏,把 CLIP 学到的图像特征"搬"进 embedding 模块;文本分支向 LLM 的文本嵌入蒸馏,保证文本编码能力与 LLM 原生一致;
  • 效果:embedding 模块具备了"通用的编码能力"——既能编码随机图像,也能编码随机文本,且两者输出维度天然一致,为统一空间打下基础。

这一步相当于给模块装上了"视觉 + 语言"双底座,还不用动 LLM 一根参数。⚡

阶段二:对齐(Stage II: Alignment)

  • 训练目标:L_align(自回归损失),仍然只训练 holistic embedding 模块,LLM 冻结;
  • 做法:把 embedding 模块与 LLM 拼接,喂入图文混合数据做自回归训练,让不同模态的嵌入在共享空间中对齐;
  • 效果:图像 token 与文字 token 在 LLM 眼里"说同一种语言",模型开始具备基本的看图说话能力。

冻结 LLM 的好处是训练成本低、且不会破坏 LLM 原有的语言能力。

阶段三:指令微调(Stage III: Instruction Tuning)

  • 训练目标:L_instruction,全模型开放训练(embedding 模块 + LLM);
  • 做法:使用视觉指令数据(图文问答、描述、写作等)进行指令微调;
  • 效果:整个 VLM 学会遵循指令,多轮对话、细节描述等任务能力显著增强。

三阶段的递进逻辑非常清晰:先学"编码",再学"对齐",最后学"对话"。这种"由小到大逐步解冻"的策略,也是单体 VLM 能以 2.6B 参数媲美更大模型的秘诀之一。各阶段的官方描述见 README.md 的 Model Details 表格。

📊 训练效果:2.6B 打出的成绩单

HoVLE 在通用 VLM 基准上以 2.6B 参数超越了多个 7B~8B 的单体模型(Fuyu-8B、SOLO、EVE-7B、Emu3 等),并在 MMB、MME、SQA 等指标上取得单体模型最佳成绩,与 InternVL2、Qwen2-VL 等 2.2B~3B 组合式模型也有得一拼:

HoVLE三阶段训练效果:通用VLM基准测试成绩对比表(MMB、MME、POPE、CCB等)

在视觉问答类基准上,HoVLE(HD) 版本在 TextVQA、ChartVQA、DocVQA、OCR 等任务上优势明显:

HoVLE视觉问答基准测试成绩对比表:TextVQA、ChartVQA、DocVQA、OCRBench等指标

用雷达图可以更直观地看到 HoVLE 相对其他单体/组合式模型的"六边形"覆盖:

HoVLE与其他视觉语言模型多基准雷达图对比,展示三阶段训练后的综合能力

🐼 快速上手:给模型一张图试试

想亲自验证训练效果?仓库自带一张"小熊猫"示例图,只需几行 transformers 代码就能跑通对话(建议 transformers==4.37.2,完整示例见 README.md 的 Quick Start):

HoVLE推理示例图:一只趴在木板上的小熊猫,可用于单图对话测试

pixel_values = load_image('./examples_image.jpg', max_num=12)
response = model.chat(tokenizer, pixel_values,
                      '<image>\nPlease describe the image shortly.',
                      generation_config)

纯文本对话、单图多轮对话(return_history=True 传递 history)也都开箱即用,模板逻辑在 conversation.py 中定义。

📁 相关文件与代码位置

内容 路径
项目说明与三阶段训练概述 README.md
模型超参数(embedding 8 层、LLM 24 层、动态切块等) config.json
holistic embedding 模块实现 modeling_holistic_embedding.py
embedding 模块配置类 configuration_holistic_embedding.py
整体模型前向与 chat 推理 modeling_internvl_chat.py
LLM(InternLM2)实现 modeling_internlm2.py
对话模板 conversation.py

写在最后

HoVLE 用一套教科书级的三阶段训练方案证明:单体视觉语言模型不必"暴力全量训练"。🎯

  • 蒸馏让 embedding 模块继承 CLIP 的视觉知识与 LLM 的文本知识;
  • 对齐以极低成本把两种模态拉进同一空间;
  • 指令微调最终激活完整的对话能力。

这套"蒸馏 → 对齐 → 指令微调"的递进思路,对任何想训练多模态大模型的新手都是一份值得抄作业的路线图。

登录后查看全文
HoVLE