Huggingface Optimum项目：Table Transformer模型导出ONNX时的CUDA兼容性问题分析

问题背景

在Huggingface Optimum项目中，用户尝试将微软开源的Table Transformer模型（microsoft/table-transformer-detection）导出为ONNX格式时遇到了兼容性问题。当使用CUDA设备进行导出时（通过--device cuda参数），程序会抛出MatMul维度不匹配的错误，而CPU导出则能正常工作。

技术细节分析

该问题本质上源于ONNX Runtime（ORT）CUDA执行提供程序（Execution Provider）在特定版本中的一个已知bug。错误信息显示在运行名为/model/decoder/layers.0/self_attn/out_proj/MatMul的节点时出现了矩阵乘法维度不匹配的问题。

根本原因

经过技术分析，这个问题与ONNX Runtime的以下方面有关：

1. ORT优化器问题：在ORT 1.14之后的版本中，某些图优化操作会导致Transformer类模型在CUDA环境下出现矩阵维度计算错误。

2. 版本兼容性：这个问题在ORT 1.14.1版本中不存在，但在更高版本中重现，直到ORT主分支（未来1.18版本）才修复。

解决方案

目前有三种可行的解决方案：

1. 降级ORT版本：将onnxruntime-gpu降级到1.14.1版本可以规避此问题。

2. 禁用ORT优化：在导出和推理过程中禁用所有ORT优化也可以临时解决这个问题。

3. 等待官方修复：使用ORT主分支代码（未来1.18版本）已经修复了这个问题，用户可以等待官方发布或自行编译主分支代码。

验证结果

使用ORT主分支代码进行的验证表明：

• 模型能够成功导出
• 输出张量形状匹配（pred_boxes和logits）
• 数值精度略有差异（最大差异约0.003），但在可接受范围内

最佳实践建议

对于需要使用CUDA加速Table Transformer模型导出的用户，建议：

1. 如果对性能要求不高，可以先使用CPU进行导出
2. 如需CUDA加速，建议暂时使用ORT 1.14.1版本
3. 关注ORT官方更新，及时升级到1.18及以上版本
4. 导出后务必验证模型输出的形状和数值精度

技术展望

随着ONNX Runtime的持续发展，这类设备相关的兼容性问题将逐步减少。Transformer类模型的优化和导出支持也将更加完善，为计算机视觉领域的表格检测等任务提供更稳定的部署方案。