vLLM项目中的Qwen2.5-VL模型并发请求崩溃问题分析

在vLLM项目的最新nightly版本(0.8.5.dev285)中，用户在使用Qwen2.5-VL-3B-Instruct模型进行并发请求时遇到了引擎崩溃的问题。该问题表现为当多个请求同时发送到服务端时，EngineCore会抛出致命错误并终止运行。

从错误日志中可以清晰地看到崩溃发生在注意力机制的计算过程中。具体来说，当模型尝试执行unified_attention_with_output操作时，系统报出"RuntimeError: scheduler_metadata must have shape (metadata_size)"的错误。这表明在张量形状验证环节出现了不匹配的情况。

进一步分析技术细节，这个问题与vLLM的注意力机制实现有关。在Flash Attention后端处理变长序列时，传入的元数据张量形状不符合预期要求。这种形状不匹配会导致整个计算流程中断，进而引发引擎崩溃。

值得注意的是，这个问题在并发请求场景下更容易触发。当多个请求同时处理时，系统需要动态管理不同序列的长度和计算资源，此时对张量形状的验证就变得尤为重要。

开发团队已经通过相关PR修复了这个问题。修复方案主要涉及两个方面：一是完善了形状验证逻辑，确保传入张量符合要求；二是优化了并发处理机制，提高了系统稳定性。

对于遇到类似问题的用户，建议采取以下解决方案：

1. 更新到包含修复的vLLM版本
2. 在部署时合理控制并发请求数量
3. 监控系统日志，及时发现和处理潜在问题

这个案例也提醒我们，在大模型服务化过程中，对计算图执行过程中的各种边界条件需要格外注意。特别是在处理变长序列和并发请求时，完善的错误处理和资源管理机制至关重要。