LitServe项目中vLLM多GPU负载均衡问题的解决方案

在部署大语言模型服务时，GPU资源的有效利用是提升服务吞吐量的关键因素。本文将深入分析LitServe框架中vLLM后端在多GPU环境下的负载均衡问题，并提供经过验证的解决方案。

问题现象

当用户尝试在8卡H100服务器上部署Llama-7B模型时，虽然程序正确识别了所有GPU设备（显示"Setting up LLM on device: cuda:{n}"信息），但实际运行中所有模型实例都被集中加载到GPU 0上。通过nvidia-smi监控工具可以观察到，仅有第一个GPU处于高负载状态，其他GPU处于闲置状态。

技术背景

LitServe作为轻量级模型服务框架，其自动扩缩容功能本应实现：

1. 自动检测可用GPU数量
2. 在每个GPU上创建独立的模型实例
3. 均匀分配推理请求到各GPU

vLLM作为高性能推理引擎，需要正确处理CUDA设备分配才能实现多卡并行。

根本原因

经过技术分析，问题源于两个关键因素：

1. vLLM 0.7.1版本存在设备分配逻辑的潜在缺陷
2. 未显式指定设备参数导致默认使用首张GPU

解决方案

通过以下两步可彻底解决问题：

1. 重新安装vLLM
   建议使用预编译版本或从源码构建最新版本，确保底层CUDA绑定正确

2. 显式传递device参数
   修改LLM初始化代码，强制指定运行设备：

   self.llm = LLM(
       model="model_path",
       tokenizer="tokenizer_path",
       dtype="bfloat16",
       device=device  # 关键修改
   )
   

实现效果

应用修复后：

• 模型实例均匀分布在所有可用GPU上
• 推理请求自动负载均衡
• GPU显存利用率稳定在设定阈值（示例中为50%）
• 整体服务吞吐量实现线性提升

最佳实践建议

1. 对于多GPU部署，始终显式指定device参数
2. 监控各GPU的显存和计算利用率
3. 根据模型大小调整gpu_memory_utilization参数
4. 定期更新vLLM到最新稳定版本

该方案已在实际生产环境验证，可稳定支持高并发推理场景。对于更大规模的模型部署，建议结合LitServe的分布式特性实现跨节点扩展。