Monkey项目OCRBench评估指标差异分析与解决方案

在开源视觉语言模型项目Monkey的实际应用过程中，部分开发者反馈使用Mini-Monkey-2B模型配合VLMEvalKit工具进行OCRBench基准测试时，出现了评估结果与论文宣称指标存在差异的情况。本文将从技术角度剖析该问题的根源，并提供已验证的解决方案。

问题现象

开发者使用标准测试流程时，模型在OCRBench上的综合得分为783分（归一化78.3），明显低于论文公布的802分指标。具体表现为：

• 关键信息抽取(KIE)任务得分显著偏低（167分）
• 手写数学公式识别任务表现欠佳（68分）

根本原因

经项目团队确认，该差异主要源于评估流程中缺少对MSAC（多尺度注意力裁剪）模块的支持。该模块是Mini-Monkey模型架构中的重要组成部分，能有效提升细粒度文本识别能力，特别是在处理文档级内容时效果显著。

技术解决方案

项目维护者已发布修正后的评估代码，主要改进包括：

1. 更新了InternVL-Chat模型接口实现
2. 完善了多尺度特征处理逻辑
3. 优化了关键信息抽取任务的prompt设计

使用修正后的评估代码可获得以下提升：

• OCRBench综合得分提升至806分
• TextVQA验证集准确率达到76.0%
• InfoVQA验证集准确率达到60.2%

实施建议

对于遇到类似问题的开发者，建议采取以下步骤：

1. 替换原评估工具中的模型接口文件
2. 确保评估时使用完整的图像预处理流程
3. 验证测试集划分与论文保持一致

该问题的解决体现了开源社区协作的优势，也提醒开发者在复现论文结果时需要关注评估流程的完整性。项目团队将持续优化评估工具，确保其与最新模型架构保持兼容。