VLMEvalKit新增WorldMedQA-V医疗多模态评估数据集

近期，哈佛大学健康AI研究团队开发的WorldMedQA-V多模态评估数据集已成功集成至开源评估工具包VLMEvalKit中。该数据集基于日本、以色列、西班牙和巴西四个国家的医学测试数据构建，经过严格清洗和标准化处理，专为医疗领域多模态模型评估设计。

WorldMedQA-V采用与MMBench等基准测试相同的多选题（MCQ）格式，包含丰富的医学图像和文本数据。其核心价值在于：

1. 跨国家医疗知识覆盖：数据集整合了不同医疗体系的标准化测试内容，能有效评估模型在多样化医疗场景下的表现
2. 专业级评估标准：所有题目均来自真实医学专业测试，具有临床实践指导意义
3. 多模态特性：同时考察模型对医学影像和文本信息的理解能力

技术实现方面，数据集通过HuggingFace平台提供标准化TSV格式文件，包含完整的题目描述、选项、参考答案和图像索引信息。VLMEvalKit通过#572号合并请求完成了对该数据集的官方支持，开发者现在可以直接调用标准接口进行评估。

该集成将显著提升医疗AI领域的评估能力，特别是在：

• 医学影像理解
• 临床决策支持
• 跨语言医疗知识应用 等关键场景的模型性能测试。研究团队表示，这为医疗大模型的标准化评估提供了重要基础设施，相关成果已投稿至NAACL 2025会议。