VLMEvalKit项目中使用自建VLLM服务的配置指南

在开源项目VLMEvalKit中，用户经常需要对接不同的语言模型服务进行评测。本文将详细介绍如何配置项目以使用本地搭建的VLLM服务，特别是针对LMDeploy部署方案的技术实现细节。

背景与需求

VLMEvalKit作为一个多功能视觉语言模型评测工具包，支持对接多种模型服务接口。在实际使用中，研究人员可能需要使用自己搭建的VLLM服务而非公共API，这主要出于以下考虑：

1. 数据隐私和安全需求
2. 定制化模型评测
3. 本地化部署减少网络传输延迟

技术实现方案

项目通过LMDeployAPI类提供了对接本地VLLM服务的功能。核心配置位于vlmeval/config.py文件中，其中关键参数包括：

"lmdeploy": partial(
    LMDeployAPI,
    api_base="http://0.0.0.0:8000/v1/chat/completions",
    temperature=0,
    retry=10,
)

详细配置步骤

1. 服务端准备：首先确保本地已正确部署VLLM服务，服务端口应与配置一致
2. 配置文件修改：找到项目中的vlmeval/config.py文件，定位到LMDeployAPI配置部分
3. 端口调整：将api_base参数中的端口号(8000)修改为实际服务端口
4. 参数调优：根据实际需求调整temperature等参数
5. 运行测试：使用命令行启动评测任务

运行命令示例

完成配置后，可通过以下命令启动评测任务：

python run.py --data MMBench_DEV_EN --model lmdeploy --verbose --api-nproc 16

其中关键参数说明：

• --data：指定评测数据集
• --model：指定使用的模型接口类型
• --api-nproc：设置并行处理数量
• --verbose：启用详细日志输出

注意事项

1. 确保本地服务已启动且网络可达
2. 系统安全设置需允许对应端口的通信
3. 对于大规模评测，建议适当增加retry次数以提高稳定性
4. 不同版本的VLLM服务可能需要调整API路径格式

性能优化建议

1. 根据硬件资源合理设置--api-nproc参数
2. 对于长时间运行的评测任务，考虑实现断点续评功能
3. 监控服务端资源使用情况，避免内存溢出等问题

通过以上配置，研究人员可以充分利用本地计算资源，在保证数据安全的前提下进行高效的模型评测工作。这种方案特别适合需要处理特定数据或进行定制化评测的研究场景。