CUTLASS项目中H100 SXM5 GPU的网格尺寸优化问题分析

背景介绍

在NVIDIA的CUTLASS项目中，针对Hopper架构GPU的GEMM（通用矩阵乘法）运算时，网格尺寸(grid size)的确定是一个关键性能因素。然而，当前实现主要针对GH100 GPU进行了优化，对H100 SXM5 GPU的支持存在不足。

架构差异分析

Hopper架构存在两种主要配置：

• GH100 GPU：包含8个图形处理集群(GPC)，每个GPC有9个纹理处理集群(TPC)，总计72个TPC和144个流式多处理器(SM)
• H100 SXM5 GPU：同样8个GPC，但TPC分布不均匀，总计66个TPC和132个SM

这种架构差异导致CUTLASS在当前实现中无法为H100 SXM5 GPU选择最优网格尺寸。例如，在4096×4096×4096的矩阵乘法运算中，使用(4,2,1)的集群形状时，CUTLASS生成的网格尺寸为(4,28,1)，而cuBLAS则使用(60,2,1)的网格尺寸，性能差距达到17%。

问题深入分析

通过进一步测试发现，当使用较大集群形状时，H100 SXM5 GPU存在SM利用率限制：

• 使用(4,2,1)集群形状时，最多只能利用120个SM
• 使用(2,2,1)集群形状时，最多利用124个SM
• 只有使用(1,1,1)集群形状时，才能充分利用全部132个SM

这种现象源于Hopper架构中SM在GPC间的分布方式以及线程块集群(thread block cluster)的工作机制。线程块集群在H100上是在GPC内部的SM间并发执行的，因此需要考虑GPC内部的SM资源分配。

解决方案展望

CUTLASS团队已经确认这是一个已知问题，并计划通过以下方式解决：

1. 使用cudaOccupancyMaxActiveClusters API来准确计算最大活跃集群数
2. 根据实际GPU架构动态调整网格尺寸计算逻辑
3. 在3.7版本中提供针对Hopper架构的优化方案

性能优化建议

对于当前版本的用户，可以尝试以下临时优化措施：

1. 对于大型矩阵运算，优先考虑使用较小的集群形状
2. 手动调整网格尺寸参数，寻找最佳性能点
3. 监控实际SM利用率，避免资源浪费

总结

CUTLASS项目在支持新一代GPU架构时面临着硬件差异带来的挑战。理解底层架构特性对于实现最佳性能至关重要。随着CUTLASS团队的持续优化，预计未来版本将能更好地适应不同配置的Hopper架构GPU，为高性能计算应用提供更优的矩阵运算性能。