VLMEvalKit模型调用方法详解

VLMEvalKit是一个用于视觉语言模型评估的工具包，提供了多种预训练视觉语言模型的接口。在使用过程中，开发者可能会遇到模型调用方面的问题，本文将详细介绍正确的模型调用方法。

支持的模型列表

VLMEvalKit通过supported_VLM字典提供了支持的模型列表。要查看当前版本支持的所有模型，可以直接打印该字典：

from vlmeval.config import supported_VLM
print(supported_VLM.keys())

正确的模型调用方式

调用模型时，必须使用supported_VLM中定义的模型名称，而不是直接使用HuggingFace上的模型ID。例如：

# 正确调用方式
model = supported_VLM['idefics_9b_instruct']()

而以下调用方式是错误的：

# 错误调用方式 - 直接使用HuggingFace模型ID
model = supported_VLM['deepseek-ai/deepseek-vl-7b-chat']()  # 会引发KeyError

模型调用示例

VLMEvalKit支持单图像和多图像的推理任务：

1. 单图像推理：

ret = model.generate(['assets/apple.jpg', 'What is in this image?'])
print(ret)  # 输出图像描述

2. 多图像推理：

ret = model.generate(['assets/apple.jpg', 'assets/apple.jpg', 
                     'How many apples are there in the provided images?'])
print(ret)  # 输出图像数量统计

常见问题解决

当遇到KeyError时，通常是因为使用了错误的模型名称。解决方法包括：

1. 检查supported_VLM字典中定义的模型名称
2. 确保模型名称拼写正确
3. 确认当前VLMEvalKit版本是否支持目标模型

最佳实践建议

1. 在代码中先打印supported_VLM.keys()确认可用模型
2. 对于新模型，建议查阅项目文档或更新到最新版本
3. 复杂的视觉语言任务可以先在小规模数据上测试模型效果

通过遵循这些指导原则，开发者可以更高效地使用VLMEvalKit进行视觉语言模型的评估和实验。