BLIS项目中微内核预取指令的内存地址优化策略分析

预取指令在BLIS微内核中的两种实现方式

在BLIS高性能计算库的微内核实现中，针对浮点32位运算存在两种不同的预取指令实现方式。第一种方式在常规情况下使用，预取地址偏移设置为(m-1)*sizeof(float)或(n-1)*sizeof(float)；第二种方式针对边缘情况，偏移量设置为(m/2-1)*sizeof(double)或(n/2-1)*sizeof(double)。

预取策略的技术原理

这两种策略本质上都是为了实现相同的目的：确保数据被高效地预取到缓存中。当数据指针对齐到缓存行边界（通常为64字节）时，预取该区域内的任何地址都能加载整个缓存行。然而，当指针未对齐时，第一个64字节区域实际上跨越了两个缓存行。

在这种情况下，开发者可以选择预取第一个或第二个缓存行：

• 偏移量为0总是预取第一个缓存行
• 任何指向最后一个元素（f32或f64）内的地址都会预取第二个缓存行

预取策略的性能考量

通过预取最后一个元素，可以为下一次迭代带来性能优势。考虑缓存行的访问模式，后续微内核迭代将访问刚刚预取区域之外的数据。最后一个被访问的缓存行会"溢出"到下一个64字节区域，这正是第二种方法在下一次微内核迭代中不会预取的数据。

这种设计巧妙地利用了缓存行的特性：

1. 当前迭代预取最后一个元素
2. 下一次迭代访问时，该区域可能已经因为之前的加载/存储操作而保持热状态
3. 如果采用偏移量0预取，则无法从之前的加载中获得这种优势

特殊情况下的预取优化

对于A矩阵的下一微面板预取，当采用压缩存储时，列跨距（cs_a）为24字节，预取操作会相互重叠，不会出现问题。但对于小矩阵且未压缩的情况，当cs_a大于64字节时，可能需要两次预取才能确保获取所有下一批数据。

实际实现中选择了偏移量为5*8的设计，这种设计在数据紧密打包时能提供最佳性能，同时在大跨距情况下至少能预取约一半的数据。考虑到L1预取指令的并行度限制，每行执行两次预取可能过多，会影响整体性能。

最佳实践建议

在实际开发中，预取策略的选择应当基于以下考虑：

1. 数据结构的内存布局特性
2. 缓存行大小和预取指令的限制
3. 通过性能分析确定最优偏移量
4. 权衡预取覆盖率和指令开销

这种精细的预取优化策略体现了BLIS在高性能计算领域的深厚技术积累，通过对内存访问模式的深入理解，实现了计算性能的最大化。