RefCOCO 数据集介绍

RefCOCO 数据集是一个专门为引用表达生成（REG）任务设计的数据集，它旨在帮助研究者更好地理解如何在自然语言表达中指向图像中的特定对象。

数据集详情

收集方法

该数据集的构建采用了一种双人游戏方式——ReferitGame。在游戏中，一名玩家观察一幅含有分割目标对象的图像，并撰写描述该对象的自然语言表达。另一名玩家则只能看到图像和相应的引用表达，需点击图像中对应的对象。若两名玩家均正确，他们将会获得积分并交换角色；若错误，则更换新的图像和对象进行描述。

数据集变体

• RefCOCO：包括19994张图像，涵盖50000个对象，共142209个引用表达式。
• RefCOCO+：包括19992张图像，涵盖49856个对象，共141564个引用表达式。
• RefCOCOg：此变体拥有25799张图像，95010个引用表达式，以及49822个对象实例。

语言和限制

RefCOCO 数据集允许引用表达使用任何形式的语言。而RefCOCO+则有所不同，它要求在引用表达中不得使用位置性词汇，应专注于基于对象外观的描述（例如，“穿着黄色圆点衬衫的男人”），而非基于观察者视角的描述（如，“左侧第二个男人”）。

通过使用RefCOCO数据集，研究人员能够推动在图像理解、自然语言处理和人工智能领域的进一步研究进展。