LLaVA-NeXT-Video-34B-DPO模型运行问题分析与解决方案

问题背景

在使用LLaVA-NeXT项目中的视频理解模型时，研究人员发现7B版本的LLaVA-NeXT-Video-7B-DPO表现优异，但在尝试运行更大的34B版本(LLaVA-NeXT-Video-34B-DPO)时遇到了技术问题。这个问题主要涉及模型生成过程中的停止条件判断异常。

错误现象

当运行34B模型时，系统抛出RuntimeError错误，提示张量尺寸不匹配。具体错误信息显示在停止条件判断时，两个张量的维度不一致(一个尺寸为2，另一个为3)，导致无法完成比较操作。

技术分析

该问题源于mm_utils.py文件中的停止条件判断逻辑。在模型生成文本时，系统会检查输出是否包含特定的停止关键词。原始代码直接比较输出序列的最后几个token与关键词token，但没有考虑两者长度可能不一致的情况。

解决方案

经过社区讨论和验证，有以下两种解决方案：

1. 官方推荐方案
   使用正确的参数配置，特别是将对话模板参数从"vicuna_v1"改为"mistral_direct"。官方确认以下命令可以正常工作：

   bash scripts/video/demo/video_demo.sh lmms-lab/LLaVA-NeXT-Video-34B-DPO mistral_direct 16 2 True XXX.mp4
   

2. 代码修改方案
   对于需要自定义推理流程的用户，可以修改mm_utils.py文件中的call_for_batch方法，增加长度检查逻辑：

   def call_for_batch(self, output_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:
       offset = min(output_ids.shape[1] - self.start_len, self.max_keyword_len)
       self.keyword_ids = [keyword_id.to(output_ids.device) for keyword_id in self.keyword_ids]
       try:
           for keyword_id in self.keyword_ids:
               if output_ids[0, -keyword_id.shape[0]:].shape[0] != keyword_id.shape[0]:
                   continue
               elif (output_ids[0, -keyword_id.shape[0]:] == keyword_id).all():
                   return True
       except Exception as e:
           print(f"Error raised here {e}")
           import pdb;pdb.set_trace()
       outputs = self.tokenizer.batch_decode(output_ids[:, -offset:], skip_special_tokens=True)[0]
       for keyword in self.keywords:
           if keyword in outputs:
               return True
       return False
   

模型输出特点说明

值得注意的是，34B模型在生成描述时可能会频繁使用"in the image"和"in the frame"这样的短语。这是因为：

1. 训练数据同时包含图像和视频数据
2. 许多训练指令本身就包含这类短语
3. 模型尚未完全区分图像和视频描述的差异

项目团队已经意识到这个问题，正在积极改进中。

建议与最佳实践

对于需要使用LLaVA-NeXT-Video-34B-DPO模型的用户，建议：

1. 优先使用官方提供的脚本和参数配置
2. 如需自定义实现，确保正确处理停止条件中的张量维度问题
3. 对模型输出进行后处理，过滤或替换不合适的短语
4. 关注项目更新，及时获取改进版本

通过以上方法，用户可以充分利用34B大模型强大的视频理解能力，同时规避已知的技术问题。