MS-Swift项目中VLLM推理服务处理图像路径问题的解决方案

问题背景

在MS-Swift项目中使用VLLM服务器进行Qwen-2.5-VL-3B模型的GRPO训练时，遇到了422错误，提示"Input should be a valid string"。这个问题发生在处理包含图像路径的数据时，VLLM服务器无法正确解析图像输入。

错误现象分析

当使用VLLM服务器进行推理时，训练脚本会向服务器发送包含图像信息的请求。原始数据格式中，图像以文件路径形式存在，例如：

{
  "images": "/save/datasets/LLaVA-Pretrain/cxr_224/1a1fe7e3-cbac5d93-b339aeda-86bb86b5-4f31e82e.jpg"
}

然而，VLLM服务器期望接收的是经过base64编码的图像字节数据，而非文件路径。这种不匹配导致了422验证错误。

解决方案实现

为了解决这个问题，需要对发送给VLLM服务器的数据进行预处理，将图像路径转换为base64编码的字节数据。具体实现如下：

1. 检查每个推理请求中是否包含图像信息
2. 对于每个图像：
   • 如果已包含字节数据(bytes字段)，直接使用并进行base64编码
   • 如果只有路径(path字段)，则从文件系统读取图像并转换为字节数据
3. 将处理后的base64编码字符串更新到请求中

关键实现代码如下：

def _process_infer_requests_images(self, infer_requests: List[InferRequest]):
    import base64
    from PIL import Image
    import os
    
    if not any('images' in request for request in infer_requests):
        return
        
    for request in infer_requests:
        if 'images' not in request:
            continue
            
        for i, img in enumerate(request['images']):
            if 'bytes' in img and img['bytes']:
                request['images'][i] = base64.b64encode(img['bytes']).decode('utf-8')
            elif 'path' in img and img['path'] and os.path.exists(img['path']):
                with open(img['path'], 'rb') as image_file:
                    image_bytes = image_file.read()
                    request['images'][i] = base64.b64encode(image_bytes).decode('utf-8')
    return

注意事项

1. 系统提示处理：在外部VLLM模式下，默认的系统提示(system prompt)不会自动包含在推理请求中。如果需要使用系统提示，必须显式地将其添加到发送的数据中。

2. 性能考虑：频繁地从文件系统读取图像可能会影响性能，特别是在大规模训练时。可以考虑以下优化：

   • 预加载常用图像到内存
   • 实现图像缓存机制
   • 使用更快的存储系统

3. 错误处理：在实际应用中，应增加对图像读取失败、路径不存在等异常情况的处理，以提高系统的健壮性。

总结

通过实现图像路径到base64编码的转换逻辑，我们成功解决了MS-Swift项目中VLLM服务器处理图像输入的问题。这个解决方案不仅适用于Qwen-2.5-VL-3B模型，也可以推广到其他需要处理图像输入的多模态模型训练场景中。

对于开发者而言，理解不同组件间的数据格式要求至关重要，特别是在涉及多模态输入时，确保数据在各处理环节中的一致性是避免类似问题的关键。