OpenGVLab/Ask-Anything项目中多模态数据集标注方法解析

在OpenGVLab的Ask-Anything项目中，研究人员针对多个视觉理解任务构建了问答数据集。这些任务包括细粒度姿态识别(NTU RGBD)、场景转换(MovieNet)、意外行为检测(FunQA)和第一人称导航(VLN-CE)等。由于原始数据集缺乏问答标注，项目团队创新性地采用了人工与AI相结合的方法来生成高质量的问答对。

细粒度姿态识别任务标注方法

对于NTU RGBD数据集中的细粒度姿态识别任务，团队采用了半自动化的标注流程。首先人工筛选出相似的姿态动作类别，然后随机生成候选选项。例如，一个典型的问题选项组合可能包含"drop(5), pick up(6), sit down(8), stand up(9), hopping(26), jump up(27), squat down(80)"等动作描述。这种方法确保了选项的多样性和区分度，同时保持了与视频内容的强相关性。

场景转换任务标注方法

在MovieNet数据集的场景转换任务中，团队采用了基于场景标注的两阶段生成方法。首先根据原始的场景标注信息生成基础描述，然后利用ChatGPT进行语义扩展，生成多个相似的场景转换描述。提示词设计为"基于'从办公室到会议室'这样的描述，请创建三个不同地点但结构相似的句子"。这种方法不仅保证了选项的合理性，还确保了选项间的可比性。

意外行为检测任务标注方法

FunQA数据集的意外行为检测任务采用了更复杂的生成策略。团队设计了一套专门的提示词模板，要求ChatGPT生成包含一个问题、四个选项(一个正确答案和三个干扰项)的问答对。特别值得注意的是，团队对选项长度进行了严格控制，确保正确答案和干扰项在长度上相似，防止模型通过简单长度匹配来猜测答案。

第一人称导航任务标注方法

对于VLN-CE数据集的第一人称导航任务，标注过程相对简单直接。团队从有限的导航指令集合中随机生成候选选项，包括"前进"、"停止"、"左转前进"和"右转前进"等基本动作。这种方法虽然简单，但能有效测试模型对第一人称视角下导航指令的理解能力。

数据验证与质量控制

在生成问答对后，团队实施了严格的质量控制措施。对于意外行为检测任务，会检查选项长度差异，若差异过大则重新生成。对于场景转换任务，确保生成的描述与视频内容真实对应。这些措施显著提高了生成数据的质量和可靠性。

技术挑战与解决方案

在实际操作中，团队遇到了一些技术挑战。例如，最初错误引用了MovieNet数据集，实际上使用的是MoVQA数据集中的视频。这提醒我们在多模态研究中，数据来源的准确引用至关重要。此外，对于STAR数据集的动作序列任务，团队特别筛选了不包含物体指向性描述的问答对，确保任务聚焦于动作序列理解而非物体识别。

这种结合人工筛选与AI生成的标注方法，为视觉语言理解研究提供了高质量的多模态基准测试数据，同时也为类似研究提供了可借鉴的技术路线。