QwenLM/Qwen3项目中32B量化模型推理异常问题分析

问题现象描述

在QwenLM/Qwen3项目使用过程中，部分用户报告在使用vLLM框架推理Qwen2.5-32B-Instruct模型的GPTQ量化版本（特别是Int4精度）时，模型输出会出现大量重复的感叹号"!!!!!!!!"，而非预期的正常回答。这一问题在短提示（prompt token数小于50）情况下尤为明显，而当输入token数超过60后，模型输出会恢复正常。

受影响模型版本

经用户反馈验证，此问题主要出现在以下模型变体：

• Qwen2.5-32B-Instruct-GPTQ-Int4
• Qwen2.5-32B-Instruct-GPTQ-Int8
• Qwen1.5-32B-Instruct-GPTQ-Int4（历史版本也存在类似问题）

值得注意的是，同系列的72B和14B量化模型在此环境下表现正常，表明问题可能与32B模型的特定量化实现有关。

环境因素分析

多位用户在不同硬件配置下重现了此问题：

• GPU型号：NVIDIA V100（SM70架构）、A100等
• CUDA版本：12.1-12.4
• vLLM版本：0.6.1.post2至0.6.4.post1
• PyTorch版本：2.3.0+cu121至2.4.0

特别值得注意的是，在V100显卡上该问题持续存在，而部分A100用户通过环境升级解决了问题。

技术排查与临时解决方案

环境配置方案

1. 升级方案：有用户报告在全新环境中安装vLLM 0.6.2+PyTorch 2.4.0+CUDA 12.1的组合后问题解决。建议尝试以下步骤：

   conda create -n vllm python=3.11
   conda activate vllm
   pip install vllm
   

2. 量化方案调整：对于支持Marlin量化的硬件（SM80+），可尝试使用gptq_marlin量化方式：

   quantization = "gptq_marlin"
   

工程临时解决方案

对于无法升级环境或使用Marlin的用户，可采用以下workaround：

1. 增加prompt长度：确保输入token数超过50，可通过添加无意义前缀实现
2. 添加虚拟对话轮次：在系统提示后添加一轮虚拟对话：

   if len(messages) <= 1:
       messages.extend([
           {"role":"user","content":"你好"},
           {"role":"assistant","content":"!"*50}
       ])
   

问题根源推测

根据现象分析，可能的原因包括：

1. 量化参数异常：32B模型的GPTQ量化参数可能存在特定条件下的数值溢出问题
2. 注意力机制异常：短序列处理时注意力权重计算可能出现异常
3. 硬件兼容性问题：不同GPU架构对量化操作的支持差异导致

建议与展望

对于遇到此问题的用户，建议：

1. 优先尝试环境升级方案
2. 对于生产环境，可暂时使用72B模型替代
3. 关注项目官方更新，等待针对32B量化模型的修复版本

该问题反映了大型语言模型量化部署中的边缘情况处理挑战，未来量化技术的鲁棒性提升将是重要发展方向。