WebNN项目：支持常量张量提升模型构建效率

WebNN（Web Neural Network）是一个致力于在Web浏览器中实现神经网络推理能力的开源项目。该项目通过提供JavaScript API，让开发者能够在浏览器环境中直接运行机器学习模型，而无需依赖后端服务器或专用硬件。WebNN的目标是降低机器学习在Web应用中的使用门槛，同时保障性能和隐私。

常量张量支持的意义

在最新发布的版本中，WebNN项目引入了一项重要功能——支持常量张量（constant tensors）。这一改进允许开发者将MLTensor对象作为常量输入，从而实现在同一构建器或不同构建器之间重用权重数据。这项功能的核心价值在于减少了需要保留的原始JavaScript输入数据，有效降低了CPU内存的使用量。

技术实现细节

主要功能增强

1. MLTensor常量使用：现在MLTensor对象可以被标记为常量，这意味着它们的值在模型执行过程中不会被修改。

2. JS缓冲区初始化：支持从JavaScript缓冲区直接初始化张量，简化了数据准备流程。

3. 基于张量的图构建：模型图现在可以直接使用来自张量的权重进行构建，提高了构建效率。

实现限制

为了确保系统稳定性和可控性，当前实现设置了一些合理限制：

• 常量张量不可被分发（dispatch）
• 常量张量必须被初始化
• 常量张量必须保持静态特性

这些限制确保了常量张量的使用场景清晰明确，避免了潜在的性能问题和运行时错误。

技术优势与影响

1. 内存优化：通过重用权重数据，显著减少了需要保留在内存中的原始数据量，特别对于大型模型效果更为明显。

2. 性能提升：消除了重复的数据准备和传输过程，加快了模型构建速度。

3. 开发便利性：简化了权重管理流程，使开发者能够更专注于模型设计和优化。

当前实现范围

值得注意的是，在当前版本中，仅启用了DML（DirectML）后端的支持。这是为了控制代码变更规模，确保每次迭代的质量和稳定性。未来版本可能会扩展到其他后端实现。

应用场景

这项改进特别适合以下场景：

• 需要多次构建相似模型的应用程序
• 内存资源受限的移动设备应用
• 需要快速切换不同模型的实时应用

WebNN项目通过引入常量张量支持，进一步提升了在Web环境中运行机器学习模型的效率和性能。这一改进为开发者提供了更灵活、更高效的模型构建方式，同时也为未来更多优化功能奠定了基础。随着项目的持续发展，我们可以期待WebNN将为Web机器学习带来更多创新和突破。