Monkey项目MiniMonkey模型在HallusionBench评测中的性能验证问题分析

在计算机视觉与自然语言处理交叉领域，Monkey项目推出的MiniMonkey模型近期引起了广泛关注。该项目基于InternVL架构开发，旨在提供轻量级但高效的视觉语言模型解决方案。然而，开发者在模型验证过程中遇到了一个值得注意的技术问题。

问题背景

开发团队在VLMEvalKit评测框架下对MiniMonkey模型进行HallusionBench基准测试时，发现评测结果与预期存在显著差异。初步测试显示模型准确率仅为26.0%，远低于官方报告的性能指标。值得注意的是，当使用原始InternVL2-2B模型进行相同测试时，结果与官方报告完全一致，这排除了评测环境本身的问题。

问题排查过程

经过深入排查，发现问题根源在于模型实现文件的版本控制。开发者最初仅替换了模型权重文件和主要的接口文件(internvl_chat.py)，但忽略了配套的模型实现文件(minimonkey.py)也需要同步更新。这种部分替换导致评测时实际运行的模型实现与权重不匹配，从而产生性能异常。

解决方案

正确的完整替换流程应包括三个关键步骤：

1. 更新模型权重文件
2. 替换接口文件(internvl_chat.py)
3. 同步更新模型实现文件(minimonkey.py)

经过完整替换后，MiniMonkey模型在HallusionBench上的评测结果恢复正常，与官方报告的性能指标一致。

技术启示

这一案例为开发者提供了重要经验：

1. 模型部署时需确保所有相关组件的版本一致性
2. 性能验证异常时应采用对比测试方法(如使用基线模型验证环境)
3. 开源项目更新时需注意配套文件的同步更新

该问题的解决不仅验证了MiniMonkey模型的真实性能，也为社区开发者提供了宝贵的实践经验，有助于推动视觉语言模型领域的标准化评测工作。