OpenBLAS在ARM64架构上的GEMM性能回归问题分析

问题背景

OpenBLAS作为一款高性能线性代数计算库，在0.3.28版本中针对ARM64架构引入了一项优化：将特定形状的矩阵乘法(GEMM)操作转发为矩阵向量乘法(GEMV)操作。这项优化本意是提升性能，但在实际运行中却出现了严重的性能下降问题。

性能问题表现

测试数据显示，在多种ARM64处理器上，当执行特定形状的DGEMM运算时，启用GEMM到GEMV转发会导致性能大幅下降：

• 在Ampere Altra处理器上，性能从4.05 GFLOP/s降至0.77 GFLOP/s
• AWS Graviton3处理器上，从7.64 GFLOP/s降至0.72 GFLOP/s
• NVIDIA Grace处理器上，从12.21 GFLOP/s降至0.92 GFLOP/s

性能分析表明，时间主要消耗在ARM64的GEMV内核的标量代码部分，这解释了为何性能会有如此显著的下降。

技术分析

转发机制原理

OpenBLAS的GEMM到GEMV转发机制会检测特定形状的矩阵乘法运算：

• 当M维度为1时，将运算转发为GEMV操作
• 当N维度为1时，同样尝试转发

这种转发在x86架构上通常能带来性能提升，因为x86有高度优化的GEMV实现。但在ARM64架构上，当前的GEMV实现还不够成熟，特别是对于某些参数组合的处理效率较低。

问题根源

性能下降的主要原因在于：

1. ARM64的GEMV内核优化不足，特别是对于非连续内存访问模式
2. 转发条件过于宽松，没有考虑内存布局对性能的影响
3. 标量代码路径占比过高，未能充分利用ARM64的向量指令集

解决方案

经过深入分析，开发者提出了改进方案：

1. 增加转发条件检查，确保只有在内存访问模式高效时才进行转发
2. 对于转置操作，要求步长(inc_x)为1以保证连续访问
3. 对于非转置操作，同样检查输出步长(inc_y)是否合适

核心修改逻辑是：只有当内存访问模式能够保证高效执行时，才触发GEMM到GEMV的转发，否则回退到标准的GEMM实现。

技术意义

这个问题揭示了几个重要的技术考量：

1. 架构特定的优化需要针对不同硬件平台进行充分验证
2. 算法转发机制必须考虑内存访问模式的影响
3. 性能优化不能仅基于运算形状，还需要考虑实际数据布局

结论

OpenBLAS在ARM64架构上的GEMM性能回归问题展示了跨平台优化面临的挑战。通过增加转发条件的严格检查，可以在保留优化机会的同时避免性能下降。这一案例也为其他跨平台数学库的开发提供了宝贵经验：性能优化必须建立在对目标平台特性的深入理解基础上。