HoVLE-HD三阶段训练揭秘:从特征蒸馏、模态对齐到指令微调的完整管线
HoVLE-HD三阶段训练揭秘:从特征蒸馏、模态对齐到指令微调的完整管线
HoVLE-HD 是一个 2.6B 参数的整体式(monolithic)视觉-语言模型(VLM),由 OpenGVLab 基于 internlm2-chat-1_8b 构建。它的核心创新是 Holistic Embedding(整体式嵌入)模块:把图片和文字统一投影到同一个嵌入空间,让大语言模型"用读文字的方式读图片"。本文将带你完整拆解 HoVLE-HD 的三阶段训练管线——特征蒸馏、模态对齐、指令微调,并给出快速上手方法。
一、什么是 HoVLE-HD:整体式 vs 组合式 VLM
主流的 VLM 大多是**组合式(Compositional)结构:视觉编码器负责"看图",一个 Connector 把图像特征"翻译"给语言模型。而 HoVLE 走的是整体式(Monolithic)**路线:图片和文字由同一个 Transformer 编码堆统一处理,没有独立的视觉编码器参与推理。
这种设计的好处是:
- 🧩 架构统一:图片与文字共享同一套因果 Transformer 层,天然支持动态分辨率切块;
- 📐 扩展性强:换底座 LLM 或换视觉输入规格时,无需重新设计 Connector;
- 🎯 性能逼近组合式模型:HoVLE-HD 仅 2.6B 参数,在多个 VLM 基准上超越了参数量数倍于它的整体式模型。
HoVLE-HD 是 HoVLE 的高清(High-Definition)版本,采用动态分辨率输入(单图最多 12 个 448×448 切块 + 1 个缩略图),在视觉问答类任务上表现尤为突出。
二、模型总览:整体嵌入模块 + LLM 双组件
整个模型由两部分组成,代码中对应两个核心类:
| 组件 | 作用 | 源码位置 |
|---|---|---|
| Holistic Embedding 模块 | 用与 LLM 相同结构的因果 Transformer 层,同时编码图片和文字,输出统一嵌入 | modeling_holistic_embedding.py(HolisticEmbedding 类) |
| LLM(InternLM2) | 接收统一嵌入并自回归生成回复 | modeling_internlm2.py(InternLM2ForCausalLM) |
| 组装与对话逻辑 | 拼接两个组件、实现 chat 多轮对话 |
modeling_internvl_chat.py(InternVLChatModel 类) |
关键配置参数速查
以下参数可在 config.json 和 configuration_holistic_embedding.py 中找到,它们决定了 HoVLE-HD 的"视觉分辨率"上限:
| 参数 | 取值 | 含义 |
|---|---|---|
image_size |
448 | 每个图像切块的边长 |
max_dynamic_patch |
12 | 单张高清图最多切分的块数(动态分辨率) |
use_thumbnail |
true | 额外附加 1 张全局缩略图,保留全局信息 |
patch_size |
14 | ViT 风格切块大小 |
downsample_ratio / pixel_shuffle_loc |
0.5 / post | 对视觉 token 做 pixel shuffle 下采样,压缩 2 倍送入 LLM |
num_hidden_layers(embedding) |
8 | 整体嵌入模块的 Transformer 层数 |
llm_hidden_size |
2048 | LLM 隐藏层维度,视觉与文本最终对齐到这个维度 |
值得一提的是实现细节:文字 token 走 LLM 的词嵌入查表,图片 token 则由视觉分支编码后,通过 replace_img_tokens 把 <IMG_CONTEXT> 占位符替换为真实视觉特征——这正是"图文同空间"的工程落点。
三、三阶段训练管线详解
HoVLE-HD 的"三阶段训练"是它的灵魂所在。三个阶段目标递进、冻结范围不同,下面逐一拆解。
阶段一:特征蒸馏(Stage I Distillation)
目标:让整体嵌入模块学会"看懂"图片、"读懂"文字
- 训练方式:将预训练视觉编码器提取的图像特征、以及 LLM 的词嵌入作为监督信号,让 Holistic Embedding 模块去"蒸馏"这两种表示;
- 可训练参数:只训练整体嵌入模块(视觉编码器与 LLM 冻结);
- 产出:模块获得通用的图文编码能力,为后续对齐打下基础。
阶段二:模态对齐(Stage II Alignment)
目标:把图片和文字对齐到同一个嵌入空间
- 训练方式:将整体嵌入模块与 LLM 串联,进行自回归训练(预测下一个 token),让不同模态的表示在共享空间中相互对齐;
- 可训练参数:依然只训练整体嵌入模块,LLM 保持冻结;
- 产出:LLM 开始能像处理文字一样消费图片嵌入,图文翻译"打通"。
阶段三:指令微调(Stage III Instruction Tuning)
目标:让模型听得懂人话、按指令办事
- 训练方式:加入**视觉指令微调(Visual Instruction Tuning)**数据,进行端到端训练;
- 可训练参数:全模型放开(整体嵌入模块 + LLM 都参与训练);
- 产出:最终可对话的 HoVLE-HD,支持单图单轮、单图多轮和纯文本对话。
三个阶段的冻结策略可以概括为一句话:
Stage I 蒸馏 :只训嵌入模块(学表示)
Stage II 对齐 :只训嵌入模块(学空间)
Stage III 指令微调 :全模型训练(学对话)
这种"先局部后全局"的渐进式训练,既控制了早期阶段的算力开销,又保证了指令微调阶段 LLM 能吸收视觉指令信号。
四、效果如何:HoVLE-HD 的基准测试成绩
在通用 VLM 基准上,HoVLE-HD 以 2.6B 参数取得了整体式模型中最强的成绩之一:
- MME 1862(整体式模型第一);
- CCB 75.3、POPE 87.6、Hall B 38.4 均居整体式模型榜首;
- MMB 73.3、MMAI 49.2(MathVista)等指标也全面领先同量级的 EVE、Emu3 等模型。
视觉问答(VQA)是 HoVLE-HD 的主场,高清图 + 动态分辨率带来了明显的细节优势:
- DocVQA 86.1、OCR Bench 740:文档与文字识别任务大幅领先,验证了高清输入的价值;
- TextVQA 70.9、AI2D 73.0、GQA 64.9:多项指标位列整体式模型第一;
- 对比同 LLM 的组合式对照模型 InternVL2,HoVLE-HD 在 OCRBench 上反超约 50 分,说明整体式设计并未牺牲细粒度识别能力。
⚠️ 不同评测工具(VLMEvalKit、OpenCompass 等)对同一模型的结果可能存在细微差异,属于正常现象。
五、快速上手:如何运行 HoVLE-HD 推理
如果你只想快速体验,以下是最小可用流程(完整示例见 README.md 的 Quick Start 部分):
- 准备环境:
transformers==4.37.2(官方指定版本)+ 一块能放下 2.6B 模型的 GPU; - 加载模型:使用
AutoModel.from_pretrained加载,并开启trust_remote_code=True(自定义代码在 modeling_internvl_chat.py 中); - 动态分辨率切图:对高清图片按 448×448 切块(
max_num=12)+ 缩略图; - 调用
model.chat进行多轮对话,图片用<image>占位符引入。
核心推理调用只有两行(单图对话):
pixel_values = load_image('./examples_image.jpg', max_num=12).to(torch.bfloat16).cuda()
response = model.chat(tokenizer, pixel_values, '<image>\n请描述这张图片', generation_config)
上图中这只趴在木架上的小熊猫,就是仓库提供的官方演示图 examples_image.jpg。用它做单图多轮对话(先"详细描述"、再"据此写诗"),就能直观感受 HoVLE-HD 的细节捕捉能力——这正是高清切块 + 缩略图设计带来的红利。
六、核心文件导航:三分钟摸清仓库结构
| 文件 | 说明 |
|---|---|
| modeling_holistic_embedding.py | ⭐ 整体嵌入模块实现:视觉分支 + 图文统一编码 + pixel shuffle 下采样 |
| configuration_holistic_embedding.py | 嵌入模块配置:image_size、max_position_embeddings、pixel_shuffle_loc 等 |
| modeling_internvl_chat.py | 模型组装、forward、chat/batch_chat 对话接口 |
| modeling_internlm2.py | InternLM2 底座 LLM 实现 |
| config.json | 模型总配置:动态分辨率、embedding 与 LLM 子配置 |
| tokenizer.model / tokenization_internlm2.py | 分词器权重与加载逻辑 |
| conversation.py | 对话模板(internlm2-chat 模板)管理 |
| model-00001-of-00003.safetensors 等 | 2.6B 参数权重分片(索引见 model.safetensors.index.json) |
总结
- 🎯 一个核心思想:用与 LLM 同构的因果 Transformer 同时编码图文,实现真正的整体式 VLM;
- 🪜 一条训练管线:特征蒸馏 → 模态对齐 → 指令微调,前两个阶段冻结 LLM、只训嵌入模块,最后一个阶段全量放开;
- 📊 一份亮眼成绩单:2.6B 参数拿下整体式模型多项基准第一(MME 1862、CCB 75.3、DocVQA 86.1),高清动态分辨率是 VQA 表现的关键。
想深入源码的话,建议从 HolisticEmbedding 类的 forward 入口读起,它串联了图文两条分支如何汇合为统一的嵌入序列。




