HPX项目在PBS批处理系统中实现多节点本地化运行的解决方案

背景介绍

HPX是一个高性能并行计算框架，广泛应用于科学计算和大规模分布式系统。在Aurora超级计算机等使用PBS（Portable Batch System）批处理系统的环境中，用户经常需要实现多个HPX本地化（locality）在单个计算节点上运行的需求。本文将详细介绍这一技术挑战的解决方案。

问题描述

在PBS环境中运行HPX应用程序时，用户发现当尝试在单个节点上运行多个HPX本地化时，系统会启动多个独立的应用程序实例，而不是预期的分布式协作运行。这与在Slurm系统中能够轻松实现多本地化运行的情况形成鲜明对比。

技术分析

问题的根源在于HPX默认使用PBS_NODEFILE来确定节点数量。当使用类似#PBS -l select=1:mpiprocs=2的配置时，HPX会将其识别为单个节点，导致无法正确创建多个本地化实例。

解决方案

基础配置方案

1. 使用mpirun/mpiexec替代pbsdsh：这是解决方案的核心步骤
2. 添加--hpx:ignore-batch-env参数：使HPX忽略批处理环境设置
3. 手动配置进程绑定：需要显式指定CPU和内存绑定

Aurora超级计算机上的具体实现

在Aurora系统上，典型的运行配置如下：

mpiexec -n 12 -ppn 6 --cpu-bind=list:0-15:16-31:32-47:52-67:68-83:84-99 \
numactl -m 2-3 /path/to/gpu_wrapper_script.sh $APP_PATH $APP_OPTIONS \
--hpx:ignore-batch-env \
--hpx:ini=hpx.parcel.mpi.priority=1000 \
--hpx:ini=hpx.parcel.mpi.enable=1 \
--hpx:ini=hpx.parcel.tcp.enable=0 \
--hpx:threads=16 \
--hpx:nodefile=$PBS_NODEFILE

GPU绑定实现

需要创建专门的GPU包装脚本：

num_gpu=6
gpu_id=$(( PALS_LOCAL_RANKID % num_gpu ))
export ZE_FLAT_DEVICE_HIERARCHY=COMPOSITE
export ZE_ENABLE_PCI_ID_DEVICE_ORDER=1
export ZE_AFFINITY_MASK=$gpu_id
ulimit -c 0
"$@"

注意事项

1. 单节点单本地化问题：当前方案在单节点单本地化配置下可能出现段错误
2. hwloc兼容性：使用--hpx:print-bind参数可能导致hwloc不兼容错误
3. 核心利用率：由于硬件限制，可能无法完全利用所有CPU核心

扩展应用：LCI通信后端

对于希望使用LCI（Lightweight Communication Interface）作为通信后端的用户，需要注意：

1. 确认mpirun使用的PMI库类型
2. 设置正确的PMI环境变量（PMI_ROOT、PMI2_ROOT或PMIx_ROOT）
3. 在Slingshot-11环境下，应设置-DLCI_SERVER=ofi

最佳实践建议

1. 对于Aurora系统，推荐使用12个HPX本地化/节点（每个GPU对应一个本地化）
2. 每个本地化配置8个CPU核心
3. 使用MPI parcelport时，确保正确设置优先级参数
4. 考虑使用LCI日志级别设置来监控引导过程

结论

通过上述方法，用户可以在PBS批处理系统中成功实现HPX应用程序的多节点本地化运行。这一解决方案不仅适用于Aurora超级计算机，也可以为其他使用PBS系统的HPC环境提供参考。随着HPX生态系统的不断发展，未来可能会提供更加简化的配置方式。