OpenCompass/VLMEvalKit 多模态大模型评测快速入门指南

项目概述

OpenCompass/VLMEvalKit 是一个专门用于评估视觉语言模型（Vision-Language Models, VLMs）性能的开源工具包。它支持对多种多模态大模型在图像和视频理解任务上的全面评测，包括但不限于图像问答、视频理解、多模态推理等任务。

环境准备

安装步骤

首先需要获取并安装 VLMEvalKit 工具包：

git clone VLMEvalKit项目地址
cd VLMEvalKit
pip install -e .

API密钥配置

使用API模型（如GPT-4v、Gemini-Pro-V等）进行推理时，需要预先配置API密钥。这些密钥可以存储在项目根目录下的.env文件中，格式如下：

# .env 文件示例
DASHSCOPE_API_KEY=your_key_here
GOOGLE_API_KEY=your_key_here
OPENAI_API_KEY=your_key_here
...

密钥配置完成后，工具包会自动加载这些密钥用于后续的推理和评估任务。

模型配置与验证

模型配置

所有支持的视觉语言模型都在vlmeval/config.py文件中进行配置。部分模型（如MiniGPT-4、LLaVA-v1-7B）需要额外的代码或权重路径配置。

模型验证

在正式评估前，建议先验证模型是否能正常运行：

vlmutil check {MODEL_NAME}

此命令会检查指定模型的配置是否正确，确保模型能够正常加载和推理。

评测执行

基本评测命令

使用run.py脚本进行评测，支持两种运行模式：

1. 完整模式（all）：执行推理和评估全过程
2. 仅推理模式（infer）：仅执行模型推理，不进行评估

基本命令格式：

python run.py --data 数据集列表 --model 模型列表 [--mode all|infer]

多GPU并行评测

对于大型模型，可以使用torchrun进行多GPU并行评测：

torchrun --nproc-per-node=GPU数量 run.py --data 数据集 --model 模型列表

评测示例

图像理解任务评测

# 使用IDEFICS-80B模型评测MMBench_DEV_EN等三个数据集
python run.py --data MMBench_DEV_EN MME SEEDBench_IMG --model idefics_80b_instruct

# 使用多GPU评测多个模型
torchrun --nproc-per-node=8 run.py --data MMBench_DEV_EN --model idefics_9b_instruct qwen_chat mPLUG-Owl2

视频理解任务评测

# 评测视频理解能力（8帧输入）
torchrun --nproc-per-node=8 run.py --data MMBench_Video_8frame_nopack --model idefics2_8

# 评测GPT-4o的视频理解能力（每秒1帧）
python run.py --data MMBench_Video_1fps_pack --model GPT4o

高级功能

自定义Prompt构建

VLMEvalKit支持针对不同评测任务自定义输入prompt的构建方式：

1. 数据集级别自定义：通过修改dataset.build_prompt()函数
2. 模型级别自定义：通过实现model.build_prompt()函数

当两者同时存在时，模型级别的自定义具有更高优先级。此外，还可以通过model.use_custom_prompt()函数灵活控制哪些评测任务使用自定义prompt。

本地评判模型部署

除了使用云端API模型作为评判者外，还可以部署本地语言模型作为评判者：

1. 安装LMDeploy：

pip install lmdeploy openai

2. 启动本地模型服务：

lmdeploy serve api_server internlm/internlm2-chat-1_8b --server-port 23333

3. 配置环境变量：

OPENAI_API_KEY=sk-123456
OPENAI_API_BASE=http://0.0.0.0:23333/v1/chat/completions
LOCAL_LLM=获取的模型名称

模型切分与GPU资源管理

VLMEvalKit支持灵活的GPU资源分配：

• 使用python命令时，模型默认使用所有可用GPU
• 使用torchrun时，GPU资源会根据进程数自动划分
• 可通过CUDA_VISIBLE_DEVICES环境变量指定使用的GPU

结果分析与常见问题

结果查看

评测结果会以两种形式输出：

1. 控制台日志形式直接显示
2. 在工作目录下生成CSV格式的结果文件

常见问题处理

1. 性能差异：不同环境下的评测结果可能存在差异，建议检查环境版本一致性
2. Prompt适配：如果模型输出异常，检查是否适配了正确的prompt构建方式
3. GPU内存不足：尝试减少并行进程数或使用更大的GPU显存

总结

OpenCompass/VLMEvalKit提供了一套完整的视觉语言模型评测方案，从环境配置到评测执行，再到结果分析，覆盖了评测工作的全流程。通过灵活的配置选项和丰富的功能支持，研究人员可以方便地对各种多模态大模型进行全面的性能评估。