探索商品搜索的新境界：购物查询数据集

项目简介

【购物查询数据集】是一个全新的大型ESC基准工具，专为提升产品搜索性能而设计。这个数据集包含了一系列复杂的搜索查询，每个查询都附带最多40个潜在相关结果，以及精确度、替换性、补充性和无关性的评估标签。数据集多语言覆盖英语、日语和西班牙语，旨在推动在查询与产品语义匹配领域的研究。

这个数据集的主要目标是创建一个基准平台，以开发新的排名策略，并识别出能改善客户搜索体验的有趣类别，比如替换产品的识别。目前定义了三个任务挑战：

1. 查询-产品排名：给定一个查询和一系列匹配的产品，任务是将相关产品排在非相关产品之上。
2. 多类产品分类：对于查询和其对应的结果列表，任务是将每个产品分类为精确、替代、补充或不相关。
3. 产品替换识别：测量系统识别给定查询结果中替换产品的能力。

技术分析

该数据集提供两种版本，分别针对不同的任务需求。每个查询-产品对都有详尽的信息，如example_id、query、product_id、product_title等，便于模型理解和学习。数据分为训练集和测试集，确保了模型泛化性能的有效评估。

对于任务1的简化版数据集包含了48,300个独特的查询和1,118,011条记录；完整版则有130,652个独特查询和2,621,738条记录，涵盖了更广泛的场景和难度级别。

数据集基于人工标注，确保了标注质量，且覆盖三种语言，增强了多语言处理的现实应用性。数据集的丰富性使得它非常适合训练深度学习模型，例如BERT和MPNet等，以解决语义匹配和排序问题。

应用场景

【购物查询数据集】广泛适用于电子商务平台，助力提高产品搜索的准确性和用户体验。通过优化模型以解决任务1的排名问题，可以改善搜索结果的相关性；利用任务2和3的标签进行分类和替换产品识别，则可以创建个性化推荐系统，进一步增强用户的购物体验。

此外，这个数据集也适合学术界作为基础资源，用于验证和改进自然语言处理（NLP）和信息检索（IR）算法。

项目特点

• 大规模：提供了大量的查询-产品对，训练模型时能获得足够的样本量。
• 多语言：涵盖英语、日语和西班牙语，适用于多语言环境的研发。
• 精细标记：每个查询-产品对都有ESC（精确、替换、补充、无关）标签，便于理解语义关系。
• 分层结构：两个数据版本满足不同复杂程度的研究需求，既可以快速验证概念，也能进行深入研究。
• 开放源代码：不仅提供数据，还提供了预处理脚本和基本模型的实现，易于上手并复制实验结果。

总的来说，【购物查询数据集】是一个极具挑战性和实用价值的资源，对于任何致力于提升在线购物体验的技术团队和个人开发者来说，都是不容错过的机会。立即行动，利用这个数据集驱动你的下一个创新项目吧！