OpenBMB/OmniLMM项目中OCRBench指标差异分析与优化建议

在OpenBMB/OmniLMM项目的实际应用中，多位开发者反馈使用MiniCPM-V-2_6模型进行OCRBench评估时，获得的分数与官方公布的852分存在明显差距。本文将从技术角度分析这一现象的原因，并提供优化建议。

评估结果差异现象

根据实际测试数据，使用transformers 4.41.0版本直接调用模型进行OCRBench评估时，获得的综合分数为771分，具体细分如下：

• 文本识别(300分)：252分
• 场景文本VQA(200分)：174分
• 文档VQA(200分)：145分
• 关键信息提取(200分)：154分
• 手写数学表达式识别(100分)：46分

这一结果与官方公布的852分存在81分的差距，特别是在手写识别(32分)和数字串识别(35分)等子项上表现较弱。

原因分析

经过技术验证，造成这种差异的主要原因包括：

1. Prompt使用不当：官方评估使用了特定的prompt模板，直接调用模型而未使用正确prompt会导致性能下降

2. 框架版本问题：PyTorch版本低于2.2.0可能影响模型性能表现

3. 评估流程差异：官方评估使用了VLMEvalKit工具中的标准化流程

解决方案

针对上述问题，建议采取以下优化措施：

1. 使用VLMEvalKit评估工具：该项目已集成OpenBMB/OmniLMM的标准化评估流程，包含正确的prompt模板和评估方法

2. 升级PyTorch版本：确保使用PyTorch 2.2.0或更高版本以获得最佳性能

3. 自定义评估的prompt优化：对于非标准评估任务，需要根据具体任务设计合适的prompt模板

技术建议

对于需要在自定义数据集上评估的用户，应注意：

1. 多选任务需要设计专门的prompt模板
2. 不同任务类型(识别、VQA、信息提取等)可能需要不同的prompt策略
3. 建议参考VLMEvalKit中的prompt设计思路进行优化

通过以上优化措施，开发者可以更准确地评估模型性能，获得与官方报告一致的评估结果。