VLMEvalKit项目中使用本地LLM作为评测模型的实践指南

在开源项目VLMEvalKit中，用户经常需要配置本地大语言模型(LLM)作为评测模型来评估其他模型的性能。本文将详细介绍如何正确配置和使用本地LLM作为评测模型，以及解决在此过程中可能遇到的常见问题。

本地LLM评测模型的基本配置

VLMEvalKit支持通过LMDeploy工具部署本地LLM模型作为评测模型。基本部署命令如下：

lmdeploy serve api_server internlm/internlm2-chat-1_8b \
    --server-port 23333 \
    --model-name internlm2-chat-1_8b

这条命令会在本地23333端口启动一个API服务，提供internlm2-chat-1_8b模型的推理能力。启动后，VLMEvalKit可以通过这个API接口调用该模型进行评测任务。

常见问题与解决方案

1. Bad Gateway错误

当运行评测脚本时，可能会遇到"openai.InternalServerError: Bad Gateway"错误。这通常是由于以下原因导致的：

• 端口访问限制：服务器防火墙可能阻止了对指定端口的访问
• API密钥配置问题：如果启用了API密钥验证但未正确配置
• 服务未正确启动：模型服务可能没有成功启动或已崩溃

解决方案包括：

1. 检查服务是否正常运行，可以使用curl测试API接口
2. 尝试更换端口号
3. 确保服务绑定到0.0.0.0而非localhost

2. API密钥配置

虽然本地部署的模型理论上不需要API密钥，但为了与OpenAI API兼容，建议配置一个简单的API密钥：

lmdeploy serve api_server internlm/internlm2-chat-1_8b \
    --server-port 23333 \
    --model-name internlm2-chat-1_8b \
    --api-keys sk-123456

在评测脚本中，需要设置相应的环境变量：

export OPENAI_API_KEY="sk-123456"
export OPENAI_API_BASE="http://0.0.0.0:23333/v1"

最佳实践建议

1. 服务稳定性：确保模型服务有足够的计算资源，避免因资源不足导致服务崩溃
2. 日志监控：启用LMDeploy的日志功能，便于排查问题
3. 性能优化：根据硬件配置调整并发数和批处理大小
4. 版本兼容性：确保VLMEvalKit、LMDeploy和模型权重版本兼容

通过以上配置和注意事项，用户可以顺利地在VLMEvalKit中使用本地LLM模型进行评测任务，既保证了评测的灵活性，又降低了使用成本。