VLMEvalKit项目中Janus-Pro模型在ChartQA评测中的标点处理问题分析

在视觉语言模型评估领域，评测指标的标准化处理对结果准确性至关重要。近期在VLMEvalKit项目中发现，Janus-Pro系列模型在ChartQA测试集上存在输出结果标点符号影响评测准确性的现象，这一发现对视觉问答任务的评测具有普遍参考价值。

现象描述 当使用Janus-Pro-7B模型在ChartQA_TEST数据集上进行测试时，模型输出的所有答案都带有尾随标点（如"Yes."、"1995."）。原始评测结果显示augmented测试集准确率仅为30.56%，human测试集20.80%。经人工检查发现，这些标点符号导致模型输出与标准答案无法匹配。

问题诊断 深入分析表明，ChartQA默认采用relaxed_accuracy评估指标，该指标基于规则匹配，对字符串的精确度要求较高。当去除输出中的尾随标点后，模型性能出现显著提升：

• augmented测试集准确率从30.56%提升至75.04%
• human测试集准确率从20.80%提升至43.44%
• 整体准确率提升超过33个百分点

技术背景 视觉问答任务中，模型输出后处理是确保评测公平性的关键环节。ChartQA采用的relaxed_accuracy指标设计初衷是容忍数字格式、单位等差异，但对标点符号的敏感性未被充分考虑。Janus-Pro模型作为多模态大模型，其文本生成模块可能存在默认添加标点的倾向。

解决方案建议 针对此类问题，技术团队提出两个层面的改进方向：

1. 模型层面优化

   • 修改generative_inner函数，针对不同评测任务调整输出格式
   • 增加后处理模块，自动去除特定任务不需要的标点符号
   • 训练时引入任务相关的输出格式约束

2. 评测体系优化

   • 在评估脚本中增加标点标准化预处理
   • 扩展relaxed_accuracy的容错规则，将常见标点差异纳入考虑
   • 建立更鲁棒的字符串匹配机制

行业启示 该案例揭示了多模态模型评测中容易被忽视的细节问题。在实际应用中，建议开发者：

• 对新模型进行输出格式分析
• 建立标准化的预处理流程
• 针对不同任务设计差异化的后处理方案
• 在模型卡中明确说明输出格式特征

后续展望 随着多模态模型复杂度提升，输出标准化问题将更加突出。建议社区共同建立统一的输出规范和后处理标准，同时保持评测体系的灵活性，以准确反映模型真实能力。此次发现的问题也为其他视觉问答任务的评测提供了重要参考。