HoVLE 三阶段训练全解析:蒸馏、对齐、指令微调,一步步把视觉拉进语言空间
HoVLE 三阶段训练全解析:蒸馏、对齐、指令微调,一步步把视觉拉进语言空间
HoVLE 是 OpenGVLab 开源的单体视觉语言模型(Monolithic VLM),本文将带你拆解 HoVLE 的三阶段训练全流程——蒸馏(Distillation)、对齐(Alignment)、指令微调(Instruction Tuning),看它是如何用一个 holistic embedding 模块,把图片和文字投影到同一个嵌入空间,让大语言模型像"读字"一样"读图"的完整训练路径。🎓
🧩 先搞懂:什么是"单体视觉语言模型"
大多数多模态大模型采用组合式(Compositional)结构:独立的视觉编码器(如 ViT)+ Connector 连接器 + 语言模型,图像先被"压缩成几个特征向量"再交给 LLM。
而 HoVLE 走的是单体(Monolithic)路线:图像 token 和文字 token 从入口开始就在同一个因果 Transformer 中统一处理。更妙的是,它没有放弃视觉编码器,而是把图像和文本的嵌入一起送入一个 holistic embedding 模块,让两种模态在共享空间中"面对面"融合——这正是 HoVLE 区别于传统单体模型的关键设计。🔥
三种范式对比:(a) 组合式 VLM 依赖 Vision Encoder + Connector;(b) 已有单体 VLM 通常需要全量微调 LLM;(c) HoVLE 用 Holistic Embedding 统一投影图像与文本,LLM 可保持冻结。
🧬 HoVLE 的架构:holistic embedding 是核心
HoVLE 由两部分组成:
- holistic embedding 模块:由与 LLM 结构相同的 8 层因果 Transformer 堆叠而成(复用
InternLM2DecoderLayer),同时接收图像 patch 嵌入和 LLM 的词嵌入; - LLM:基于 InternLM2(internlm2-chat-1.8B),最终整个模型 2.6B 参数。
工作流程可以概括为:
- 图像经动态切块(Dynamic Process)切出 448×448 的 tile,过 Patch Embedding + 位置编码,再经 pixel shuffle 降采样(
downsample_ratio=0.5)压缩 token 数; - 文本直接复用 LLM 的 embedding 权重,同时加入
<img>、<IMG_CONTEXT>、</img>特殊 token; - 图像嵌入替换掉序列中的
<IMG_CONTEXT>占位 token,与文本嵌入拼接后送入 Transformer 编码层; - 编码后的统一嵌入(image feature + 全部 token 嵌入)交给 LLM 生成回复。
相关实现可参考 modeling_holistic_embedding.py 中的 forward(图像嵌入替换见 replace_img_tokens),整体调度逻辑在 modeling_internvl_chat.py。
📚 三阶段训练策略逐步拆解
HoVLE 的训练按三个损失函数递进展开(图中 L_distill → L_align → L_instruction),每一阶段"解锁"的训练范围逐步扩大:
阶段一:蒸馏(Stage I: Distillation)
- 训练目标:
L_distill,只训练 holistic embedding 模块; - 做法:图像分支向**预训练视觉编码器(CLIP)**蒸馏,把 CLIP 学到的图像特征"搬"进 embedding 模块;文本分支向 LLM 的文本嵌入蒸馏,保证文本编码能力与 LLM 原生一致;
- 效果:embedding 模块具备了"通用的编码能力"——既能编码随机图像,也能编码随机文本,且两者输出维度天然一致,为统一空间打下基础。
这一步相当于给模块装上了"视觉 + 语言"双底座,还不用动 LLM 一根参数。⚡
阶段二:对齐(Stage II: Alignment)
- 训练目标:
L_align(自回归损失),仍然只训练 holistic embedding 模块,LLM 冻结; - 做法:把 embedding 模块与 LLM 拼接,喂入图文混合数据做自回归训练,让不同模态的嵌入在共享空间中对齐;
- 效果:图像 token 与文字 token 在 LLM 眼里"说同一种语言",模型开始具备基本的看图说话能力。
冻结 LLM 的好处是训练成本低、且不会破坏 LLM 原有的语言能力。
阶段三:指令微调(Stage III: Instruction Tuning)
- 训练目标:
L_instruction,全模型开放训练(embedding 模块 + LLM); - 做法:使用视觉指令数据(图文问答、描述、写作等)进行指令微调;
- 效果:整个 VLM 学会遵循指令,多轮对话、细节描述等任务能力显著增强。
三阶段的递进逻辑非常清晰:先学"编码",再学"对齐",最后学"对话"。这种"由小到大逐步解冻"的策略,也是单体 VLM 能以 2.6B 参数媲美更大模型的秘诀之一。各阶段的官方描述见 README.md 的 Model Details 表格。
📊 训练效果:2.6B 打出的成绩单
HoVLE 在通用 VLM 基准上以 2.6B 参数超越了多个 7B~8B 的单体模型(Fuyu-8B、SOLO、EVE-7B、Emu3 等),并在 MMB、MME、SQA 等指标上取得单体模型最佳成绩,与 InternVL2、Qwen2-VL 等 2.2B~3B 组合式模型也有得一拼:
在视觉问答类基准上,HoVLE(HD) 版本在 TextVQA、ChartVQA、DocVQA、OCR 等任务上优势明显:
用雷达图可以更直观地看到 HoVLE 相对其他单体/组合式模型的"六边形"覆盖:
🐼 快速上手:给模型一张图试试
想亲自验证训练效果?仓库自带一张"小熊猫"示例图,只需几行 transformers 代码就能跑通对话(建议 transformers==4.37.2,完整示例见 README.md 的 Quick Start):
pixel_values = load_image('./examples_image.jpg', max_num=12)
response = model.chat(tokenizer, pixel_values,
'<image>\nPlease describe the image shortly.',
generation_config)
纯文本对话、单图多轮对话(return_history=True 传递 history)也都开箱即用,模板逻辑在 conversation.py 中定义。
📁 相关文件与代码位置
| 内容 | 路径 |
|---|---|
| 项目说明与三阶段训练概述 | README.md |
| 模型超参数(embedding 8 层、LLM 24 层、动态切块等) | config.json |
| holistic embedding 模块实现 | modeling_holistic_embedding.py |
| embedding 模块配置类 | configuration_holistic_embedding.py |
| 整体模型前向与 chat 推理 | modeling_internvl_chat.py |
| LLM(InternLM2)实现 | modeling_internlm2.py |
| 对话模板 | conversation.py |
写在最后
HoVLE 用一套教科书级的三阶段训练方案证明:单体视觉语言模型不必"暴力全量训练"。🎯
- 蒸馏让 embedding 模块继承 CLIP 的视觉知识与 LLM 的文本知识;
- 对齐以极低成本把两种模态拉进同一空间;
- 指令微调最终激活完整的对话能力。
这套"蒸馏 → 对齐 → 指令微调"的递进思路,对任何想训练多模态大模型的新手都是一份值得抄作业的路线图。





