OpenCompass多模态评测套件中HallusionBench综合得分计算方法解析

背景介绍

OpenCompass多模态评测套件(VLMEvalKit)中的HallusionBench是一个专门用于评估多模态模型在幻觉(hallucination)和错觉(illusion)方面表现的基准测试集。该基准测试集能够全面评估模型在视觉问答任务中的准确性、鲁棒性和可靠性。

评测指标详解

HallusionBench主要包含三个核心评测指标：

1. aACC(Answer Accuracy)：衡量模型回答准确性的指标，评估模型在给定问题和图像的情况下提供正确答案的能力。

2. qACC(Question Accuracy)：评估模型对问题理解能力的指标，检测模型是否能够正确解析和响应不同类型的问题。

3. fACC(Failure Accuracy)：专门针对模型失败情况的评估指标，用于分析模型在特定场景下的鲁棒性表现。

综合得分计算方法

虽然原始论文中没有定义"Overall Score"这一综合指标，但OpenCompass团队为了更直观地展示模型在HallusionBench上的整体表现，特别设计了综合得分计算方法：

综合得分 = (aACC + qACC + fACC) / 3

这种计算方法采用简单的算术平均，能够平衡三个不同维度的表现，为研究人员和开发者提供一个单一数值来快速比较不同模型的整体性能。

实际应用建议

在使用HallusionBench进行模型评估时，建议：

1. 不仅要关注综合得分，还应该分别分析aACC、qACC和fACC三个子指标，以全面了解模型在不同方面的表现。

2. 对于特定应用场景，可以根据需求调整三个指标的权重比例，例如在需要高可靠性的应用中，可以适当增加fACC的权重。

3. 综合得分最适合用于模型间的横向比较，但在分析单个模型时，仍需深入各子指标的表现。

通过这种综合评估方法，研究人员可以更全面地了解多模态模型在应对幻觉和错觉方面的能力，为模型优化和改进提供明确方向。