Qwen3项目中vLLM部署Qwen1.5-32B-Chat-GPTQ-Int4模型的特殊现象分析

在Qwen3项目的最新进展中，开发者发现了一个关于Qwen1.5-32B-Chat-GPTQ-Int4模型在vLLM推理框架下的特殊行为。当使用默认系统提示词时，模型会持续输出"!"符号，而修改系统提示词后则能正常生成内容。

现象描述

测试发现，当使用vLLM 0.4.0 post1配合transformers 4.39.3或vLLM 0.3.0配合transformers 4.37.2部署Qwen1.5-32B-Chat-GPTQ-Int4模型时，会出现以下两种截然不同的输出结果：

1. 使用修改后的系统提示词："You are a helpful AI assistant"时，模型能够正常生成关于大语言模型的详细解释。
2. 使用默认系统提示词："You are a helpful assistant"时，模型会持续输出"!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"符号串，直到达到最大生成长度限制。

值得注意的是，同样的模型在Hugging Face端点上表现正常，这表明问题可能与vLLM框架相关。

技术分析

这种现象在Qwen1.5系列的其他模型（如14B和72B版本）中并未出现，仅在32B的GPTQ-Int4量化版本中观察到。从技术角度看，可能有以下几个原因：

1. 量化精度影响：4位量化可能在某些情况下导致模型对提示词的敏感性增加。
2. vLLM框架兼容性：vLLM对特定模型架构或量化方式的实现可能存在细微差异。
3. 提示词工程：模型对系统提示词的微小变化（如增加"AI"一词）表现出不同的行为，说明模型对初始条件的敏感性。

解决方案与建议

项目维护者建议使用AWQ量化版本替代GPTQ-Int4版本，因为AWQ版本在vLLM框架下表现稳定。对于必须使用GPTQ-Int4版本的情况，可以采取以下措施：

1. 修改系统提示词，增加"AI"等修饰词。
2. 考虑使用transformers原生推理框架而非vLLM。
3. 监控模型输出，设置适当的停止条件防止异常输出。

总结

这一现象提醒我们在部署大型语言模型时，需要特别注意模型版本、量化方式和推理框架之间的兼容性问题。即使是微小的提示词变化，也可能对模型行为产生显著影响。开发者在使用Qwen1.5-32B-Chat-GPTQ-Int4模型时，应当充分测试不同配置下的模型表现，确保生产环境的稳定性。