Optimum项目中的BERT模型ONNX支持问题分析

问题背景

在Hugging Face的Optimum项目中，当使用ONNX运行时处理BERT类模型时，如果输入数据中不包含token_type_ids参数，会导致运行错误。这一问题在多种执行环境下表现不同：使用CPU执行提供程序时会抛出AttributeError，而使用CUDA执行提供程序时则会抛出KeyError。

技术细节

BERT类模型在原始实现中，当token_type_ids参数未被显式提供时，Transformers库会自动将其初始化为与input_ids相同形状的全零张量。这一行为在transformers.models.bert.modeling_bert模块中有明确实现。

然而，Optimum项目中的ONNX运行时支持目前尚未实现这一自动初始化逻辑。这导致了以下问题：

1. CPU执行环境：会抛出AttributeError: 'NoneType' object has no attribute 'numpy'错误
2. GPU执行环境：会抛出KeyError: 'token_type_ids'错误

影响范围

这一限制影响了所有基于BERT架构的模型在ONNX运行时的使用，特别是当：

• 使用Sentence-Transformers库并指定ONNX后端时
• 处理单句输入而非句子对输入时
• 使用不自动生成token_type_ids的分词器时

解决方案展望

Optimum-Intel子项目中已经为OpenVINO模型实现了类似的自动初始化逻辑。预计将在ONNX支持中也加入这一功能，使ONNX运行时的行为与原始PyTorch模型保持一致。

开发者建议

在官方修复发布前，开发者可以采取以下临时解决方案：

1. 手动添加token_type_ids参数
2. 使用PyTorch后端替代ONNX运行时
3. 对于Sentence-Transformers用户，暂时避免使用ONNX后端

这一问题的修复将显著提升BERT类模型在ONNX运行时的兼容性和易用性，特别是对于多语言嵌入模型等应用场景。