QwenLM/Qwen项目中使用vLLM和FastChat的兼容性问题分析

在QwenLM/Qwen项目中使用vLLM和FastChat进行模型服务部署时，开发者可能会遇到一些兼容性问题。本文将深入分析这些问题的根源，并提供解决方案。

问题背景

当尝试通过FastChat的vLLM worker部署Qwen-7B-Chat-Int4模型时，系统会抛出tokenizer相关的错误。具体表现为worker端报出tokenizer初始化失败的错误，而API服务端则显示无法处理请求的异常。

错误原因分析

经过深入调查，发现这些问题主要源于FastChat和vLLM版本之间的兼容性问题：

1. FastChat 0.2.36版本为了实现与vLLM 0.2.7的兼容性，采用了一种快速但不够完善的实现方式。这种实现方式在处理使用自定义代码的QwenTokenizer时，会引发预期之外的行为。

2. 由于QwenTokenizer使用了自定义代码，FastChat的修改特别影响了Qwen模型的正常加载和运行。

解决方案

针对这些问题，可以采取以下解决方案：

1. 版本降级：将FastChat降级到0.2.36以下版本（fschat<0.2.36），同时将vLLM降级到0.2.7以下版本（vllm<0.2.7）。这样可以避免FastChat中引入的兼容性问题。

2. API服务错误处理：对于API服务端的错误，可以参考类似问题的处理方式，确保服务能够正确处理请求。

技术细节

在模型部署过程中，tokenizer的正确初始化至关重要。Qwen模型使用自定义的tokenizer实现，这要求框架必须能够正确处理自定义代码。FastChat的新版本修改了tokenizer的加载方式，导致QwenTokenizer无法正确初始化。

最佳实践建议

1. 在使用Qwen模型时，建议仔细检查依赖库的版本兼容性
2. 部署前进行充分的测试，特别是tokenizer的加载和基本推理功能
3. 关注项目更新日志，及时了解版本间的兼容性变化

通过理解这些技术细节和采取适当的解决方案，开发者可以成功地在QwenLM/Qwen项目中使用vLLM和FastChat进行模型服务部署。