ONNX中TensorProto在to_array操作中的大端序问题解析

问题背景

在ONNX模型转换过程中，开发者在将TensorFlow模型转换为ONNX格式时发现了一个数据字节序异常的问题。该问题特别出现在大端序系统（如s390x架构）上，当使用numpy_helper.to_array()函数处理TensorProto时，原始数据会被意外修改。

技术细节分析

ONNX使用Protocol Buffers格式存储模型数据，其中TensorProto是用于存储张量数据的核心结构。numpy_helper模块提供了TensorProto与NumPy数组之间的转换功能。

问题的核心在于to_array()函数的实现方式。在大端序系统上，该函数会直接修改传入的TensorProto对象内部数据，而不是返回一个经过字节交换的新副本。这种行为导致了以下问题：

1. 数据一致性破坏：第一次调用to_array()后，原始TensorProto数据被修改
2. 不可预期的副作用：后续操作获取到的数据与原始数据不一致
3. 大端序系统特有：小端序系统不会触发这个问题

问题复现

通过以下简化测试用例可以重现该问题：

from onnx import numpy_helper, TensorProto
import numpy as np

# 创建测试数据
t = np.array(1, dtype=np.int32)
onnx_tensor = numpy_helper.from_array(t, "Tensor")

# 第一次转换正常
assert t == numpy_helper.to_array(onnx_tensor)

# 第二次转换失败，因为onnx_tensor已被修改
assert t == numpy_helper.to_array(onnx_tensor)

解决方案与修复

正确的实现应该是：

1. 保持TensorProto对象的不可变性
2. 在需要字节交换时创建并返回新副本
3. 不修改原始协议缓冲区数据

修复后的实现确保了：

• 多次调用to_array()结果一致
• 原始TensorProto数据保持不变
• 跨平台行为一致

对模型转换的影响

这个问题特别影响模型转换工具链（如tf2onnx）的正确性，因为：

1. 模型权重可能在转换过程中被意外修改
2. 转换后的模型在不同架构上表现不一致
3. 可能导致难以调试的精度问题

最佳实践建议

开发者在处理ONNX模型时应注意：

1. 在大端序系统上验证模型转换结果
2. 检查关键张量数据的字节序是否正确
3. 考虑使用固定的小端序作为中间表示
4. 更新到包含此修复的ONNX版本

该问题的修复确保了ONNX在不同硬件架构上的行为一致性，为跨平台模型部署提供了更可靠的基础。