Intel PyTorch扩展库中分布式WOQ量化模型的延迟信息显示问题解析

在最新版本的Intel PyTorch扩展库(Intel Extension for PyTorch)中，用户在使用分布式方式运行权重仅量化(WOQ)的INT8/INT4模型时，发现无法显示预期的token级延迟信息。本文将深入分析该问题的技术背景、产生原因及解决方案。

问题现象

当用户通过DeepSpeed分布式环境运行WOQ量化模型时，虽然添加了--token-latency参数，但控制台仅显示整体推理延迟(inference latency)，而缺失了关键的token生成延迟(token latency)信息。这种现象在以下场景出现：

1. 仅影响WOQ INT8/INT4量化模型的分布式运行
2. 单机单卡运行正常显示token延迟
3. BF16/BF32精度模型不受影响

技术背景

Intel PyTorch扩展库提供了权重仅量化(Weight-Only Quantization)功能，这是一种高效的模型压缩技术。在2.3.0+cpu-rc1版本中，开发团队对LLM相关脚本进行了重构优化，其中涉及到了延迟统计模块的修改。

根本原因

通过代码审查发现，问题源于脚本更新时对延迟统计逻辑的调整。在分布式环境下，WOQ量化路径没有正确继承IPEX特有的性能监控模块，导致token级延迟统计功能失效。

解决方案

用户可以通过以下两种方式解决该问题：

1. 显式启用IPEX扩展
   在命令中添加--ipex参数强制加载IPEX的所有优化模块：

   deepspeed ... run.py --ipex --benchmark ... --ipex-weight-only-quantization ...
   

2. 版本回退
   暂时使用2.2.x版本可以获得预期行为，但这不是推荐做法，因为会失去新版的其他优化特性。

最佳实践建议

对于需要精确性能分析的场景，建议：

1. 始终在分布式量化场景中添加--ipex参数
2. 对比测试时保持监控参数的一致性
3. 关注版本更新日志中关于性能监控的变更
4. 对于生产环境，建议进行完整的基准测试验证

该问题预计会在后续版本中得到官方修复。目前临时解决方案已经过验证，可以满足大多数性能分析需求。