在Intel IPEX-LLM项目中优化GPU推理性能的技术实践

Intel IPEX-LLM项目是一个基于Intel架构优化的开源大语言模型推理框架。近期有用户反馈在使用双Intel A770显卡（16GB显存x2）运行deepseek-r1-distill-qwen-32b模型时，单账户交互推理的token生成速度仅为15 token/s左右，未能达到预期的30 token/s性能水平。

经过技术团队分析，发现这主要与GPU频率未锁定有关。在默认情况下，GPU会根据负载动态调整运行频率，这可能导致性能不稳定。通过使用Intel提供的xpu-smi工具手动锁定GPU频率，可以显著提升推理性能。

具体优化方法如下：

1. 在Docker容器外部执行频率锁定命令：

   sudo xpu-smi config -d x -t 0 --frequencyrange 2400,2400
   

   这条命令将GPU频率锁定在2400MHz，确保推理过程中GPU以最高性能运行。

2. 锁定频率后，再进入Docker容器运行模型推理。

这一优化方法已被Intel技术团队正式纳入IPEX-LLM项目的快速入门指南中，作为在Intel GPU上运行vLLM服务的最佳实践之一。类似的优化思路也适用于CPU频率锁定，通过确保计算单元运行在最高性能状态，可以显著提升大语言模型推理的吞吐量。

对于使用Intel GPU进行大模型推理的用户，建议在进行性能测试或生产部署时，首先锁定GPU频率以获得最佳性能表现。这一简单的优化步骤往往能带来显著的性能提升，特别是在需要稳定高吞吐量的应用场景中。

Intel IPEX-LLM项目持续优化在Intel架构上的大模型推理性能，类似的性能调优技巧值得开发者关注和应用。