LLaMA-Factory多模态DPO训练中的图像特征与Token不匹配问题解析

在LLaMA-Factory项目中进行多模态DPO训练时，开发者可能会遇到一个典型错误："Image features and image tokens do not match"。这个错误通常表现为特征数量与Token数量不一致，例如报错信息中显示的"tokens: 3894, features 3896"。

问题背景

当使用经过SFT微调后的LLaVA-NeXT-Llama3模型进行DPO训练时，系统会严格检查图像特征与对应Token的数量是否匹配。这种检查是多模态模型处理视觉-语言联合任务的重要机制，确保视觉信息能够正确对齐到语言模型中。

根本原因分析

该问题的核心在于模型微调过程中tokenizer词表发生了变化。具体表现为：

1. 原始LLaVA-NeXT-Llama3模型的tokenizer具有固定的图像Token处理能力
2. 经过SFT微调后，tokenizer可能新增了大量图像相关的Token
3. 在进行DPO训练时，新的tokenizer与原始模型的视觉编码器输出特征维度不匹配

解决方案

解决此问题的最佳实践是：

1. 使用原始未微调模型的tokenizer文件替换当前tokenizer
2. 确保tokenizer配置与视觉编码器的输出特征维度严格对应
3. 保留微调后的模型参数，仅替换tokenizer相关文件

技术细节

在多模态模型中，图像处理流程通常包含以下关键步骤：

1. 视觉编码器将图像转换为特征向量
2. 这些特征被映射到语言模型的嵌入空间
3. 特殊的图像Token用于标记图像在文本序列中的位置
4. 模型需要确保每个图像特征都有对应的Token表示

当tokenizer被修改后，这种一对一的映射关系可能被破坏，导致维度不匹配错误。

最佳实践建议

1. 进行多阶段微调时，保持tokenizer的一致性
2. 如果必须修改tokenizer，需同步调整视觉编码器的输出维度
3. 在模型保存时，同时备份tokenizer配置
4. 进行跨阶段训练前，先验证tokenizer与模型的兼容性

通过理解这一问题的本质，开发者可以更好地规划多模态模型的训练流程，避免类似错误的出现。