Swift项目GRPO训练中vLLM调度器AssertionError问题分析与解决方案

问题背景

在使用Swift项目进行GRPO（Generalized Reinforcement Policy Optimization）微调时，当启用异步生成(async_generate)模式进行模型评估时，会遇到vLLM调度器抛出AssertionError的问题。具体表现为在评估阶段出现断言错误："assert len(running_scheduled.prefill_seq_groups) == 0"。

问题现象

用户在配置中使用以下关键参数：

• use_vllm: true
• async_generate: true
• tensor_parallel_size: 1
• num_infer_workers: 1

在评估阶段，无论设置eval_use_evalscope为true还是false，都会出现相同的断言错误。错误发生在vLLM调度器的_schedule_default方法中，表明调度器在运行时检测到了未预期的预填充序列组。

问题分析

经过深入分析，这个问题主要源于以下几个方面：

1. vLLM调度器状态不一致：当异步生成模式启用时，vLLM调度器期望在调度时没有正在运行的预填充序列组，但实际运行时这个条件被违反。

2. 评估数据集大小影响：初步怀疑与验证数据集过小有关，但用户反馈增加验证集样本数量后问题依旧存在。

3. 执行模式差异：在colocate模式下（即不使用异步生成），问题不会出现，这表明问题与vLLM的异步执行机制有关。

4. 权重同步机制：在GRPO训练过程中，模型权重需要频繁与vLLM引擎同步，异步模式下可能产生同步时序问题。

解决方案

Swift项目团队已经通过代码更新修复了这个问题。解决方案的核心要点包括：

1. 强制使用vLLM服务器模式：在异步生成模式下，现在要求必须使用vLLM服务器模式(vllm_mode == server)，这提供了更可靠的执行环境。

2. 改进权重同步机制：无论使用colocate模式还是server模式，模型权重都会在每次更新后自动与vLLM模型同步，确保一致性。

3. 推荐使用最新代码：用户需要从主分支安装最新代码，而非通过pip安装的稳定版本。

实施步骤

要正确实施GRPO训练并避免此问题，建议按照以下步骤操作：

1. 从源码安装最新版Swift：

git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .

2. 使用vLLM服务器模式进行训练，通过swift rollout命令启动服务。

3. 确保评估数据集具有足够数量的样本。

4. 在配置中正确设置async_generate和相关vLLM参数。

技术要点

1. GRPO训练机制：GRPO是一种强化学习优化方法，需要频繁进行模型推理和评估，这对推理引擎的稳定性和性能提出了较高要求。

2. vLLM集成：Swift项目深度集成了vLLM引擎，用于高效的大模型推理。在异步模式下，vLLM可以提供更高的吞吐量，但也带来了更复杂的调度问题。

3. 权重同步：训练过程中，主模型和推理引擎之间的权重同步是关键，Swift通过内部机制自动处理这一过程，无需人工干预。

最佳实践

1. 对于生产环境，建议使用vLLM服务器模式，它提供了更好的稳定性和资源隔离。

2. 监控训练过程中的内存使用情况，适当调整vLLM的内存利用率参数(vllm_gpu_memory_utilization)。

3. 根据硬件配置合理设置tensor_parallel_size和num_infer_workers参数。

4. 定期检查Swift项目的更新，以获取性能改进和错误修复。

通过以上分析和解决方案，用户可以在Swift项目中顺利使用GRPO进行模型微调，充分发挥异步生成模式的优势，同时避免调度器断言错误的问题。