首页
/ Intel Extension for PyTorch性能问题分析:Bert-Large和Distil-bert模型在2.3.x版本的性能下降

Intel Extension for PyTorch性能问题分析:Bert-Large和Distil-bert模型在2.3.x版本的性能下降

2025-07-07 08:35:38作者:范垣楠Rhoda

在Intel Extension for PyTorch(IPEX)2.3.0和2.3.100版本中,用户报告了Bert-Large和Distil-bert模型在批量大小为96时出现的性能异常问题。具体表现为在使用ipex.optimize(model)结合torch.compile(model, backend="ipex")或torchscript路径后,模型吞吐量显著下降。

根据用户提供的基准测试数据,在IPEX 2.3.100版本中,批量大小为60时仅获得5 QPS(每秒查询数),而在IPEX 2.2.x版本中相同条件下可获得41.78 QPS。这种性能下降现象在多个模型上均有出现,表明可能是一个普遍性问题。

技术团队在收到反馈后进行了问题复现。使用最新的IPEX 2.4.0版本在SPR 6438Y+平台上测试后,性能表现恢复正常。这表明该问题可能已在2.4.0版本中得到修复。

对于遇到类似问题的开发者,建议采取以下解决方案:

  1. 升级到IPEX 2.4.0或更高版本
  2. 如果必须使用2.3.x版本,可暂时回退到2.2.x版本以获得稳定性能
  3. 在性能关键应用中,建议进行全面基准测试后再决定版本选择

性能优化是深度学习框架持续改进的重要方向,特别是在CPU平台上的推理效率直接影响实际应用部署成本。Intel Extension for PyTorch作为PyTorch在Intel硬件上的性能增强工具,其版本间的性能差异值得开发者关注。建议开发者在版本升级时进行充分的性能验证,确保满足应用需求。

登录后查看全文
热门项目推荐
相关项目推荐