ExLlamaV2项目对Qwen 2模型推理问题的技术分析与解决方案

问题背景

近期在ExLlamaV2项目中，用户反馈使用Qwen 2 7B模型进行推理时出现了输出乱码的问题。这一问题在多个开源社区都有相关讨论，包括llama.cpp和Qwen官方仓库。经过技术团队的深入分析，发现这与模型的注意力机制实现和缓存量化方式密切相关。

技术分析

问题的根源可以追溯到模型的注意力函数实现。随着PyTorch 2.3.0版本的发布，开始支持lower-right因果掩码(lower-right causal masking)，这使得ExLlamaV2能够使用Scaled Dot-Product Attention(SDPA)替代原有的矩阵乘法注意力机制。SDPA在融合的注意力内核中使用上转换(upcasting)技术，有效防止了数值溢出问题。

值得注意的是，Qwen 2系列模型的KV缓存(KV Cache)大小与其他模型有显著差异。以Qwen2-7B为例，其FP16精度的KV缓存仅为56kB/token，远小于Llama3-8B的128kB/token和Llama2-7B的512kB/token。这种差异使得Qwen 2模型在内存使用效率上具有明显优势。

解决方案

ExLlamaV2团队针对这一问题提出了多项改进措施：

1. 注意力机制优化：在Torch 2.3.0及以上版本中默认使用SDPA实现注意力计算，避免了数值溢出问题，同时提升了计算效率。

2. 缓存量化方案改进：

   • 新增Q8缓存模式，在Qwen2-7B上表现优异
   • Q6缓存模式同样表现良好，已在v0.1.5版本中提供
   • 不建议使用已弃用的8-bit(FP8)模式，其性能甚至不如Q4

3. 性能对比数据：

   • Qwen2-7B在Q6缓存模式下，每个token的VRAM使用量比Llama3-8B的Q4缓存少30%
   • HumanEval测试显示Q6及以上量化级别的性能差异在误差范围内

量化性能评估

以下是Qwen2-7B不同量化配置的性能对比数据：

量化方式	缓存类型	pass@1	pass@10	Wikitext 5x1k
FP16	Q4	19.74%	46.34%	40.72
FP16	Q6	61.65%	81.70%	15.20
FP16	Q8	62.37%	81.09%	15.18
FP16	FP16	61.16%	82.31%	15.16

对于更大的Qwen2-72B模型，Q4缓存表现稳定：

量化方式	缓存类型	pass@1	pass@10	Wikitext 5x1k
6.0bpw	Q4	70.36	87.19	10.31
6.0bpw	Q6	69.32	85.36	10.26
6.0bpw	Q8	71.28	85.36	10.23
6.0bpw	FP16	70.8	83.5	10.17

实践建议

对于使用ExLlamaV2运行Qwen 2模型的开发者，建议：

1. 确保使用v0.1.5或更高版本的ExLlamaV2
2. 对于Qwen2-7B，优先考虑Q6或Q8缓存模式
3. 对于Qwen2-72B，Q4缓存表现良好，可以放心使用
4. 避免使用已弃用的8-bit(FP8)缓存模式

通过这些优化，ExLlamaV2项目成功解决了Qwen 2系列模型的推理问题，为用户提供了稳定高效的推理体验。