Intel Extension for PyTorch中LSTM训练导致Arc GPU段错误问题分析

问题现象

在使用Intel Extension for PyTorch（IPEX）进行LSTM模型训练时，当在Arc GPU上执行loss.backward()操作时，会出现随机次数的训练循环后发生段错误(Segmentation Fault)的问题。该问题的出现具有以下特点：

1. 错误发生的训练循环次数与输入张量x的尺寸有关
2. 当使用ipex.optimize优化模型时更容易触发
3. 当输入张量较大时，即使不使用ipex.optimize也会出现段错误

问题复现

通过以下简化代码可以稳定复现该问题：

import torch 
import intel_extension_for_pytorch as ipex

class LSTMModel(torch.nn.Module):
    def __init__(self):
        super(LSTMModel, self).__init__()
        self.l1 = torch.nn.Linear(1, 10)
        self.lstm = torch.nn.LSTM(10, 10, batch_first=True)
        self.l2 = torch.nn.Linear(10, 1)
    
    def forward(self, x):
        x = self.l1(x)
        x, _ = self.lstm(x)
        x = self.l2(x)
        return x

model = LSTMModel()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
loss_fn = torch.nn.MSELoss()
x = torch.tensor([[1.0], [0.0], [1.0], [0.0]]).unsqueeze(0)

model.to("xpu")
model, optimizer = ipex.optimize(model, optimizer=optimizer)
x = x.to("xpu")

for i in range(10):
    optimizer.zero_grad()
    pred = model(x)
    loss = loss_fn(pred, x)  # 注意这里使用x作为目标和预测值
    loss.backward()
    optimizer.step()
    print(loss)

技术分析

通过GDB调试工具分析核心转储文件，发现程序在调用level-zero运行时的ExecuteCommandList相关函数时崩溃。具体表现为：

1. 崩溃发生在libze_intel_gpu.so.1库中
2. 调用栈显示崩溃发生在自动微分(autograd)执行反向传播过程中
3. 问题与Level Zero运行时的命令列表执行机制有关

进一步分析发现，当满足以下条件时更容易触发该问题：

1. 在损失函数中使用相同的张量作为输入和目标值
2. 使用固定不变的输入数据而非随机变化的数据
3. 使用默认的批处理命令列表而非立即命令列表

解决方案

针对该问题，Intel已经提供了永久性修复方案。用户可以通过以下两种方式解决：

临时解决方案

设置环境变量使用立即命令列表：

export SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1

永久解决方案

升级到最新版本的软件栈组合：

1. 2441.21或更新版本的GPU驱动
2. oneAPI 2025.0或更新版本
3. IPEX v2.5.10+xpu或更新版本

升级后，LSTM训练将正常工作，无论是使用默认的批处理命令列表还是立即命令列表。

最佳实践建议

为避免类似问题，建议在训练LSTM等循环神经网络时：

1. 确保训练数据在每次迭代中有所变化
2. 使用独立的目标张量而非输入张量作为损失函数的参考
3. 对于关键应用，考虑使用最新稳定版本的软件栈
4. 在复杂模型训练前进行小规模测试验证环境稳定性

通过遵循这些实践，可以确保在Intel Arc GPU上获得稳定高效的深度学习训练体验。