ONNX Runtime Web 中 Float16Array 与 Uint16Array 的兼容性演进

在 Web 平台上使用 ONNX Runtime 进行机器学习推理时，数据类型处理一直是一个关键技术点。近期 Chrome Canary 版本默认启用了 Float16Array 支持，这对 ONNX Runtime Web 的 float16 数据类型处理带来了重要变化。

技术背景

在 Web 平台进行高性能数值计算时，TypedArray 是关键的底层数据结构。过去，由于浏览器缺乏对 Float16Array 的原生支持，ONNX Runtime Web 采用 Uint16Array 作为 float16 数据类型的替代方案。这种方案虽然可行，但存在类型语义不匹配的问题。

问题演进

随着 Chrome Canary 版本默认启用 Float16Array，ONNX Runtime Web 开始将 float16 数据类型直接映射到 Float16Array。这一变化虽然从技术角度看是正确的发展方向，但却带来了向后兼容性问题：

1. 现有应用程序中大量使用 Uint16Array 作为 float16 输入的代码会突然失效
2. 开发者会收到类型错误："A float16 tensor's data must be type of Float16Array"

解决方案

开发团队经过讨论，制定了分阶段处理的策略：

1. 模型输出处理：当 Float16Array 可用时优先使用，否则回退到 Uint16Array。这确保了新环境使用更合适的类型，同时保持向后兼容。

2. 模型输入处理：在过渡期放宽限制，即使 Float16Array 可用，也继续接受 Uint16Array 作为输入。这为开发者提供了迁移缓冲期。

技术实现要点

这种兼容性处理需要关注几个关键点：

• 类型检测：运行时需要动态检测浏览器环境是否支持 Float16Array
• 类型转换：在必要时进行 Uint16Array 和 Float16Array 之间的转换
• 性能考量：类型转换可能带来额外开销，需要优化实现

开发者建议

对于使用 ONNX Runtime Web 的开发者：

1. 新项目应优先使用 Float16Array 处理 float16 数据
2. 现有项目可以暂时继续使用 Uint16Array，但应规划向 Float16Array 迁移
3. 关注 ONNX Runtime Web 的版本更新，确保使用包含兼容性修复的版本

未来展望

随着 Web 平台对机器学习支持不断完善，预计所有主流浏览器都将原生支持 Float16Array。ONNX Runtime Web 的这种渐进式兼容方案为生态平滑过渡提供了良好范例，同时也展示了大型机器学习框架在Web平台演进的务实策略。