MMAction2中使用RawFrameDataset训练MViT模型的问题分析与解决

问题背景

在使用MMAction2框架训练MViT(Multiscale Vision Transformer)模型时，当采用RawFrameDataset作为数据集类型时，可能会遇到一个形状不匹配的错误。这个错误通常发生在模型训练过程中计算top-k准确率时，具体表现为输入张量和标签张量的形状无法广播对齐。

错误现象

错误信息显示在计算top-k准确率时，输入张量的形状为(12,5)，而标签张量的形状为(4,1,7)，导致广播操作失败。这种形状不匹配的根本原因与配置文件中的num_clips参数设置有关。

根本原因分析

1. num_clips参数的影响：当设置num_clips=3时，模型会对每个视频样本生成3个剪辑片段，这会导致输入数据的维度扩展。例如，原始batch size为4时，实际输入会变为4×3=12个剪辑片段。

2. 标签处理不一致：虽然输入数据通过num_clips参数进行了扩展，但标签数据没有相应地复制扩展。这导致了输入张量(12个剪辑片段)和标签张量(4个原始样本)之间的维度不匹配。

3. 形状转换问题：在计算准确率时，top_k_accuracy函数期望输入和标签的形状能够广播对齐，但由于上述原因，形状(12,5)和(4,1,7)无法直接比较。

解决方案

针对这个问题，有以下几种解决方案：

1. 设置num_clips=1：这是最简单的解决方案，可以确保输入和标签的形状一致。修改后的配置如下：

   train_pipeline = [
       dict(type="SampleFrames", clip_len=clip_len, frame_interval=1, num_clips=1),
       # 其他pipeline步骤保持不变
   ]
   

2. 调整标签处理逻辑：如果需要使用多个剪辑片段(num_clips>1)，可以修改模型头部或评估逻辑，确保标签数据能够正确复制以匹配输入数据的形状。

3. 自定义准确率计算：实现一个自定义的准确率计算函数，能够正确处理多剪辑片段情况下的标签匹配。

最佳实践建议

1. 理解num_clips参数：在使用多剪辑片段采样时，要充分理解其对数据形状的影响，并确保所有相关组件都能正确处理这种扩展。

2. 形状一致性检查：在开发自定义模型或修改配置时，应该添加形状检查逻辑，确保输入和标签的形状兼容。

3. 逐步调试：遇到形状不匹配问题时，可以逐步打印各阶段的张量形状，帮助定位问题发生的具体位置。

4. 参考官方示例：MMAction2提供了丰富的模型配置示例，建议在修改配置前先参考类似任务的官方配置。

总结

在MMAction2框架中使用RawFrameDataset训练MViT模型时，num_clips参数的设置需要特别注意其对数据形状的影响。通过合理配置采样参数或调整模型处理逻辑，可以避免这类形状不匹配的问题。对于大多数应用场景，设置num_clips=1是最简单可靠的解决方案，除非有特殊需求需要使用多剪辑片段增强。