PyTorch 2.7 RC版本中torch.export和torch.compile的兼容性问题分析

在PyTorch 2.7 RC版本中，用户报告了两个重要的功能兼容性问题：torch.export和torch.compile在某些情况下无法正常工作，而这些情况在PyTorch 2.6版本中可以正常运行。本文将深入分析这些问题及其解决方案。

问题背景

PyTorch 2.7 RC版本引入了对torch.export和torch.compile功能的若干修改，导致了一些向后兼容性问题。具体表现为：

1. 在使用torch.compile时，当代码访问transformers模型配置对象时，会抛出"Unexpected type in sourceless builder"异常
2. 在使用torch.export时，默认的strict参数从False变为True，导致一些原本可以导出的模型现在会失败

技术细节分析

torch.compile问题

当使用torch.compile编译transformers模型时，特别是Gemma3Vision2TextModel这样的模型，系统会尝试访问模型配置对象中的属性。在PyTorch 2.7 RC中，Dynamo编译器无法正确处理这种配置对象的访问，导致以下错误：

torch._dynamo.exc.Unsupported: Unexpected type in sourceless builder transformers.models.gemma3.configuration_gemma3.Gemma3TextConfig

这个问题源于Dynamo编译器对Python对象属性访问的处理逻辑发生了变化。在2.6版本中，这种访问模式是被允许的，但在2.7 RC中则被视为不支持的代码模式。

torch.export问题

torch.export功能在2.7 RC版本中默认将strict参数设置为True，这与2.6版本的行为不同。当strict=True时，导出过程会对模型有更严格的检查，导致一些在2.6中可以导出的模型现在会失败。

例如，在尝试导出DPT混合模型时，会出现类似的类型不匹配错误：

torch._dynamo.exc.Unsupported: Unexpected type in sourceless builder transformers.models.bit.configuration_bit.BitConfig

解决方案

针对这两个问题，目前有以下解决方案：

1. torch.compile问题：PyTorch团队已经提交了修复补丁，但可能无法及时包含在2.7正式版中。用户可以考虑暂时回退到2.6版本，或者等待补丁发布后升级。

2. torch.export问题：用户可以通过显式设置strict=False来解决兼容性问题：

   torch.export.export(model, args, strict=False)
   

   或者直接移除strict参数（因为False现在是默认值）

最佳实践建议

对于正在使用PyTorch 2.7 RC版本的用户，建议：

1. 在升级前全面测试模型编译和导出功能
2. 对于关键生产环境，考虑暂时停留在2.6版本
3. 关注PyTorch官方发布说明，了解这些问题的最终解决方案
4. 在代码中添加适当的版本检查逻辑，处理不同版本的行为差异

总结

PyTorch 2.7 RC版本在torch.export和torch.compile功能上引入了一些破坏性变化，主要影响transformers等大型模型框架的使用。虽然这些问题在大多数情况下都有解决方案，但用户需要了解这些变化并相应调整代码。PyTorch团队正在积极解决这些问题，预计在未来的更新中会提供更完善的兼容性支持。