HoVLE-HD三阶段训练揭秘:从特征蒸馏、模态对齐到指令微调的完整管线

原创2026-10-21 13:46:081,907 阅读

HoVLE-HD三阶段训练揭秘:从特征蒸馏、模态对齐到指令微调的完整管线

HoVLE-HD 是一个 2.6B 参数的整体式(monolithic)视觉-语言模型(VLM),由 OpenGVLab 基于 internlm2-chat-1_8b 构建。它的核心创新是 Holistic Embedding(整体式嵌入)模块:把图片和文字统一投影到同一个嵌入空间,让大语言模型"用读文字的方式读图片"。本文将带你完整拆解 HoVLE-HD 的三阶段训练管线——特征蒸馏、模态对齐、指令微调,并给出快速上手方法。

HoVLE-HD 三阶段训练与整体式VLM架构对比

一、什么是 HoVLE-HD:整体式 vs 组合式 VLM

主流的 VLM 大多是**组合式(Compositional)结构:视觉编码器负责"看图",一个 Connector 把图像特征"翻译"给语言模型。而 HoVLE 走的是整体式(Monolithic)**路线:图片和文字由同一个 Transformer 编码堆统一处理,没有独立的视觉编码器参与推理。

这种设计的好处是:

  • 🧩 架构统一:图片与文字共享同一套因果 Transformer 层,天然支持动态分辨率切块;
  • 📐 扩展性强:换底座 LLM 或换视觉输入规格时,无需重新设计 Connector;
  • 🎯 性能逼近组合式模型:HoVLE-HD 仅 2.6B 参数,在多个 VLM 基准上超越了参数量数倍于它的整体式模型。

HoVLE-HD 是 HoVLE 的高清(High-Definition)版本,采用动态分辨率输入(单图最多 12 个 448×448 切块 + 1 个缩略图),在视觉问答类任务上表现尤为突出。

二、模型总览:整体嵌入模块 + LLM 双组件

HoVLE-HD 模型架构总览:整体嵌入模块与 LLM

整个模型由两部分组成,代码中对应两个核心类:

组件 作用 源码位置
Holistic Embedding 模块 用与 LLM 相同结构的因果 Transformer 层,同时编码图片和文字,输出统一嵌入 modeling_holistic_embedding.py(HolisticEmbedding 类)
LLM(InternLM2) 接收统一嵌入并自回归生成回复 modeling_internlm2.py(InternLM2ForCausalLM)
组装与对话逻辑 拼接两个组件、实现 chat 多轮对话 modeling_internvl_chat.py(InternVLChatModel 类)

关键配置参数速查

以下参数可在 config.json 和 configuration_holistic_embedding.py 中找到,它们决定了 HoVLE-HD 的"视觉分辨率"上限:

参数 取值 含义
image_size 448 每个图像切块的边长
max_dynamic_patch 12 单张高清图最多切分的块数(动态分辨率)
use_thumbnail true 额外附加 1 张全局缩略图,保留全局信息
patch_size 14 ViT 风格切块大小
downsample_ratio / pixel_shuffle_loc 0.5 / post 对视觉 token 做 pixel shuffle 下采样,压缩 2 倍送入 LLM
num_hidden_layers(embedding) 8 整体嵌入模块的 Transformer 层数
llm_hidden_size 2048 LLM 隐藏层维度,视觉与文本最终对齐到这个维度

值得一提的是实现细节:文字 token 走 LLM 的词嵌入查表,图片 token 则由视觉分支编码后,通过 replace_img_tokens 把 <IMG_CONTEXT> 占位符替换为真实视觉特征——这正是"图文同空间"的工程落点。

三、三阶段训练管线详解

HoVLE-HD 的"三阶段训练"是它的灵魂所在。三个阶段目标递进、冻结范围不同,下面逐一拆解。

阶段一:特征蒸馏(Stage I Distillation)

目标:让整体嵌入模块学会"看懂"图片、"读懂"文字

  • 训练方式:将预训练视觉编码器提取的图像特征、以及 LLM 的词嵌入作为监督信号,让 Holistic Embedding 模块去"蒸馏"这两种表示;
  • 可训练参数:只训练整体嵌入模块(视觉编码器与 LLM 冻结);
  • 产出:模块获得通用的图文编码能力,为后续对齐打下基础。

阶段二:模态对齐(Stage II Alignment)

目标:把图片和文字对齐到同一个嵌入空间

  • 训练方式:将整体嵌入模块与 LLM 串联,进行自回归训练(预测下一个 token),让不同模态的表示在共享空间中相互对齐;
  • 可训练参数:依然只训练整体嵌入模块,LLM 保持冻结;
  • 产出:LLM 开始能像处理文字一样消费图片嵌入,图文翻译"打通"。

阶段三:指令微调(Stage III Instruction Tuning)

目标:让模型听得懂人话、按指令办事

  • 训练方式:加入**视觉指令微调(Visual Instruction Tuning)**数据,进行端到端训练;
  • 可训练参数:全模型放开(整体嵌入模块 + LLM 都参与训练);
  • 产出:最终可对话的 HoVLE-HD,支持单图单轮、单图多轮和纯文本对话。

三个阶段的冻结策略可以概括为一句话:

Stage I   蒸馏     :只训嵌入模块(学表示)
Stage II  对齐     :只训嵌入模块(学空间)
Stage III 指令微调 :全模型训练(学对话)

这种"先局部后全局"的渐进式训练,既控制了早期阶段的算力开销,又保证了指令微调阶段 LLM 能吸收视觉指令信号。

四、效果如何:HoVLE-HD 的基准测试成绩

HoVLE-HD 通用VLM基准测试成绩对比表

在通用 VLM 基准上,HoVLE-HD 以 2.6B 参数取得了整体式模型中最强的成绩之一:

  • MME 1862(整体式模型第一);
  • CCB 75.3、POPE 87.6、Hall B 38.4 均居整体式模型榜首;
  • MMB 73.3、MMAI 49.2(MathVista)等指标也全面领先同量级的 EVE、Emu3 等模型。

HoVLE-HD 视觉问答基准测试成绩对比表

视觉问答(VQA)是 HoVLE-HD 的主场,高清图 + 动态分辨率带来了明显的细节优势:

  • DocVQA 86.1、OCR Bench 740:文档与文字识别任务大幅领先,验证了高清输入的价值;
  • TextVQA 70.9、AI2D 73.0、GQA 64.9:多项指标位列整体式模型第一;
  • 对比同 LLM 的组合式对照模型 InternVL2,HoVLE-HD 在 OCRBench 上反超约 50 分,说明整体式设计并未牺牲细粒度识别能力。

⚠️ 不同评测工具(VLMEvalKit、OpenCompass 等)对同一模型的结果可能存在细微差异,属于正常现象。

五、快速上手:如何运行 HoVLE-HD 推理

如果你只想快速体验,以下是最小可用流程(完整示例见 README.md 的 Quick Start 部分):

  1. 准备环境:transformers==4.37.2(官方指定版本)+ 一块能放下 2.6B 模型的 GPU;
  2. 加载模型:使用 AutoModel.from_pretrained 加载,并开启 trust_remote_code=True(自定义代码在 modeling_internvl_chat.py 中);
  3. 动态分辨率切图:对高清图片按 448×448 切块(max_num=12)+ 缩略图;
  4. 调用 model.chat 进行多轮对话,图片用 <image> 占位符引入。

核心推理调用只有两行(单图对话):

pixel_values = load_image('./examples_image.jpg', max_num=12).to(torch.bfloat16).cuda()
response = model.chat(tokenizer, pixel_values, '<image>\n请描述这张图片', generation_config)

HoVLE-HD 官方示例图片:一只趴在木架上休息的小熊猫

上图中这只趴在木架上的小熊猫,就是仓库提供的官方演示图 examples_image.jpg。用它做单图多轮对话(先"详细描述"、再"据此写诗"),就能直观感受 HoVLE-HD 的细节捕捉能力——这正是高清切块 + 缩略图设计带来的红利。

六、核心文件导航:三分钟摸清仓库结构

文件 说明
modeling_holistic_embedding.py ⭐ 整体嵌入模块实现:视觉分支 + 图文统一编码 + pixel shuffle 下采样
configuration_holistic_embedding.py 嵌入模块配置:image_size、max_position_embeddings、pixel_shuffle_loc 等
modeling_internvl_chat.py 模型组装、forward、chat/batch_chat 对话接口
modeling_internlm2.py InternLM2 底座 LLM 实现
config.json 模型总配置:动态分辨率、embedding 与 LLM 子配置
tokenizer.model / tokenization_internlm2.py 分词器权重与加载逻辑
conversation.py 对话模板(internlm2-chat 模板)管理
model-00001-of-00003.safetensors 等 2.6B 参数权重分片(索引见 model.safetensors.index.json)

总结

  • 🎯 一个核心思想:用与 LLM 同构的因果 Transformer 同时编码图文,实现真正的整体式 VLM;
  • 🪜 一条训练管线:特征蒸馏 → 模态对齐 → 指令微调,前两个阶段冻结 LLM、只训嵌入模块,最后一个阶段全量放开;
  • 📊 一份亮眼成绩单:2.6B 参数拿下整体式模型多项基准第一(MME 1862、CCB 75.3、DocVQA 86.1),高清动态分辨率是 VQA 表现的关键。

想深入源码的话,建议从 HolisticEmbedding 类的 forward 入口读起,它串联了图文两条分支如何汇合为统一的嵌入序列。

登录后查看全文
HoVLE-HD