Tenstorrent TT-Metal v0.58.0-rc10 版本技术解析

Tenstorrent TT-Metal 是一个面向AI加速的高性能计算框架，专为Tenstorrent的AI处理器设计。该项目提供了从底层硬件抽象到高层模型支持的全栈解决方案，使开发者能够充分利用Tenstorrent硬件的高效计算能力。最新发布的v0.58.0-rc10版本带来了多项重要更新和优化，本文将深入解析这些技术改进。

核心架构优化

本次版本在系统架构层面进行了多项重要改进。首先移除了DispatchMemMap单例模式，将其所有权转移至MetalContext，这一改动显著提升了系统的模块化程度和线程安全性。同时，项目团队彻底移除了遗留的异步模式API，简化了代码库并提高了维护性。

在设备初始化方面，新增了对6U设备2D Torus拓扑的支持，并修复了1D Fabric设备初始化时缺失的NOC选择优化。这些改进为大规模AI模型部署提供了更好的硬件支持基础。

性能提升与优化

性能优化是本版本的重点之一。DRAM预取器新增了性能模式支持，可以针对不同工作负载特点进行优化配置。针对Llama模型的SDPA解码阶段，团队实现了16x32瓦片布局优化并移除了不必要的copy_blocks操作，显著提升了处理效率。

特别值得注意的是，项目团队为YOLOv8s_world和YOLOv8x模型添加了完整的trace支持，使这些计算机视觉模型能够在Tenstorrent硬件上获得最佳性能表现。同时，针对YOLOv9c模型的trace性能调优工作也已取得阶段性成果。

新功能与算子扩展

在算子支持方面，本次更新带来了多项重要扩展：

• 新增了ttnn.experimental.broadcast_to操作支持
• 实现了ttnn.stack操作的原生支持
• 为ttnn.upsample的nearest模式添加了对非均匀分片的支持
• 扩展了argmax操作的多核支持，使其能够处理任意维度和形状的输入
• 为ttnn.add操作添加了uint16数据类型支持

这些新功能的加入大大增强了框架的适用性和灵活性，使开发者能够应对更复杂的AI模型需求。

系统稳定性与可靠性

在系统稳定性方面，本版本包含了多项重要修复：

• 修复了RISCV_SOFT_RESET_0_BRISC值的移位问题
• 解决了AllGatherAsyncMinimal的段错误问题
• 修复了ElfFile::Impl构造函数中的悬空引用问题
• 为Resnet50模型添加了稳定性测试脚本

此外，团队还新增了一个system_health测试二进制文件，专门用于6U/T3K设备的系统健康检查，进一步提升了大规模部署的可靠性。

开发者体验改进

在开发者体验方面，本次更新包含了多项便利性改进：

• 新增了ProgramDescriptor结构，为未来的TTNN通用操作提供支持
• 实现了测试代码的去重和模块化重构
• 改进了设备性能数据的收集和分析能力
• 添加了FORCE_PUSH_TO_TRACY选项，方便性能分析

这些改进使开发者能够更高效地开发和调试基于Tenstorrent硬件的AI应用。

总结

Tenstorrent TT-Metal v0.58.0-rc10版本在架构优化、性能提升、功能扩展和稳定性改进等方面都取得了显著进展。这些改进不仅增强了框架的核心能力，也为AI开发者提供了更强大、更灵活的工具集。随着对YOLO系列模型支持的不断完善和对Llama模型性能的持续优化，Tenstorrent硬件在计算机视觉和自然语言处理领域的应用前景将更加广阔。