Intel PyTorch 扩展库中Qwen-7B模型INT8量化推理问题分析

问题概述

在使用Intel PyTorch扩展库(IPEX)对Qwen-7B大语言模型进行INT8量化推理时，开发者遇到了一个运行时错误。具体表现为在执行量化推理过程中，TorchScript解释器报错"cannot return dims when ndims < 0"。这个问题特别出现在同时启用AMP(自动混合精度)和INT8量化的情况下。

技术背景

IPEX为PyTorch提供了Intel硬件特有的优化扩展，特别是在CPU上的性能优化。其中，INT8量化是一种重要的模型压缩技术，可以显著减少模型大小并提高推理速度。AMP则是一种自动混合精度训练/推理技术，可以在保持模型精度的同时提高计算效率。

问题复现条件

1. 使用IPEX 2.3.0和PyTorch 2.3.0环境
2. 对Qwen-7B模型执行以下操作流程：
   • 首先生成量化配置文件(q_config_summary_file)
   • 然后尝试进行INT8量化推理
3. 在推理时启用了"--quant-with-amp"标志

错误分析

错误信息表明在TorchScript解释器执行过程中，尝试获取张量的维度时出现了问题。具体错误"cannot return dims when ndims < 0"通常表示张量的维度信息出现了异常情况。这种情况可能发生在：

1. 张量形状计算过程中出现错误
2. 量化操作与AMP的交互存在问题
3. 特定模型层的量化支持不完善

值得注意的是，相同环境下其他模型(GPT-J-6B、ChatGLM3、LLaMA-2-7B等)的量化推理都能正常工作，这表明问题可能与Qwen-7B模型的特定架构有关。

解决方案

根据IPEX开发团队的确认，目前静态量化与AMP的结合使用仍处于实验阶段。对于Qwen-7B模型，建议的临时解决方案是：

在运行Qwen-7B量化推理时，暂时不要使用"--quant-with-amp"标志

技术建议

对于希望在Intel CPU上高效运行Qwen-7B模型的开发者，可以考虑以下优化路径：

1. 纯INT8量化：不使用AMP，仅进行INT8量化
2. BF16精度：如果硬件支持，可以考虑使用BF16精度而非INT8量化
3. 等待官方修复：关注IPEX的后续版本更新，等待该问题的正式修复

总结

这个问题揭示了大型语言模型量化过程中的一个特定边界情况。虽然INT8量化与AMP的结合理论上能带来更好的性能，但在实际应用中仍需考虑模型特定架构的兼容性。开发者在使用新技术组合时，应当注意官方文档中标注的实验性功能状态，并在生产环境中进行充分的测试验证。