Kokkos项目中HIP常量内存启动机制的同步问题分析

问题背景

在Kokkos高性能计算框架中，开发者发现了一个与HIP后端常量内存启动机制相关的间歇性故障问题。该问题在使用Radeon PRO VII显卡和ROCm 6.4环境下表现得尤为明显，会导致应用程序在运行过程中抛出hipEventSynchronize错误。

问题现象

当使用Kokkos的HIP后端执行并行计算时，特别是在非默认执行空间实例上反复创建和销毁执行空间的情况下，系统会间歇性地抛出以下错误：

terminate called after throwing an instance of 'std::runtime_error'
  what():  hip_instance->hip_event_synchronize_wrapper( HIPInternal::constantMemReusable[hip_device]) error( hipErrorCapturedEvent): operation not permitted on an event last recorded in a capturing stream /opt/kokkos/include/HIP/Kokkos_HIP_KernelLaunch.hpp:525

值得注意的是，错误信息中提到的"capturing stream"实际上在测试代码中并未显式使用，这表明问题可能源于更深层次的机制。

技术分析

Kokkos框架中的常量内存启动机制使用事件(event)来管理内存资源的同步和重用。具体来说，当内核使用常量内存启动时，框架会：

1. 记录一个事件到当前流(stream)中
2. 后续尝试通过同步该事件来确保资源可用性

问题的核心在于，当执行空间实例被反复创建和销毁时，可能出现以下情况：

• 事件被记录到一个流中
• 该流随后被销毁
• 系统尝试同步已被销毁流中的事件

这种行为在HIP/CUDA文档中属于未明确定义的边界情况，可能导致不可预测的行为，包括观察到的错误。

复现方法

开发者提供了一个精简的复现代码，主要特点包括：

• 使用partition_space创建多个执行空间实例
• 交替使用局部内存和常量内存启动内核
• 反复创建和销毁执行空间实例

测试表明，在Radeon PRO VII上，使用ROCm 6.4运行时，该问题会稳定复现，而在MI300A架构上则未观察到相同问题。

解决方案

Kokkos开发团队已经识别出问题的根源并提供了修复方案。修复的核心思路是：

1. 避免在可能被销毁的流上记录事件
2. 改进事件管理机制，确保资源的正确同步
3. 增强对执行空间实例生命周期的处理

经验总结

这一问题的发现和解决过程提供了几个重要的技术启示：

1. 执行空间管理：在非默认执行空间上频繁创建和销毁实例时，需要特别注意资源同步问题
2. HIP事件机制：事件与流的生命周期管理需要谨慎处理，特别是在流可能被销毁的情况下
3. 测试覆盖：需要加强对非默认执行空间场景的测试覆盖，特别是涉及资源重用和同步的复杂情况

结论

Kokkos框架中HIP后端的常量内存启动机制问题展示了在高性能计算中资源管理和同步的复杂性。通过深入分析问题根源并实施针对性修复，不仅解决了特定错误，也为框架的稳健性提供了宝贵经验。这类问题的解决有助于提升Kokkos在异构计算环境下的可靠性和稳定性。