NVIDIA CUDALibrarySamples 中 cuSOLVERMp 库的使用问题分析与解决

问题背景

在使用 NVIDIA CUDALibrarySamples 项目中的 cuSOLVERMp 库时，用户遇到了两个主要问题：

1. 在多进程运行时出现 UCC 初始化失败错误
2. 随机性出现的矩阵分解失败问题

UCC 初始化问题分析

当用户尝试在 Perlmutter 系统上运行 cuSOLVERMp 的示例程序 mp_potrf_potrs 时，遇到了 UCC (Unified Collective Communications) 库的初始化错误。错误信息显示：

ucc_coll.c:239 UCC ERROR failed to init collective: Resources are not available for the operation

这个问题表现为：

• 当使用 -p 1 参数（即单进程组）时程序可以正常运行
• 当 -p 大于 1 时，程序经常失败
• 在多节点运行时程序会挂起

解决方案

经过测试，发现设置以下环境变量可以解决 UCC 初始化问题：

export UCC_TL_NCCL_LAZY_INIT=no

这个环境变量控制 UCC 是否延迟初始化 NCCL 通信库。将其设置为 "no" 可以确保 NCCL 在程序开始时就被正确初始化，避免了后续通信时的资源不足问题。

矩阵分解失败问题

另一个问题是程序有时会在调用 potrf（Cholesky 分解）函数后失败，返回错误代码 7（CUSOLVER_STATUS_MATRIX_TYPE_NOT_SUPPORTED）。经过分析，发现这是由于示例代码中的矩阵生成函数存在问题。

矩阵生成问题分析

原示例代码中的矩阵生成函数 generate_diagonal_dominant_symmetric_matrix 存在以下问题：

1. 生成的矩阵可能不满足正定条件
2. 对角元素设置不够大，可能导致矩阵接近半正定
3. 随机数生成可能导致某些情况下矩阵条件数较差

改进方案

可以通过以下方式改进矩阵生成：

1. 增大对角元素的值，确保矩阵严格对角占优
2. 使用固定种子进行随机数生成以便于调试
3. 增加矩阵条件数检查

具体修改建议是将对角元素设置为矩阵维度的倍数（如 n 或 10n），而不是原来的 2sum 方式。这样可以确保矩阵严格对角占优，满足 Cholesky 分解的要求。

最佳实践建议

在使用 cuSOLVERMp 库时，建议：

1. 设置必要的环境变量确保通信库正确初始化
2. 检查输入矩阵的正定性
3. 对于大型矩阵，适当增加对角元素的值
4. 使用固定随机种子进行调试
5. 监控矩阵条件数，避免数值不稳定

结论

通过分析 cuSOLVERMp 库在 Perlmutter 系统上的运行问题，我们找到了两个主要问题的解决方案。对于通信问题，设置 UCC_TL_NCCL_LAZY_INIT 环境变量是关键；对于矩阵分解失败问题，改进矩阵生成算法是根本解决方法。这些经验对于在其他 HPC 系统上部署 cuSOLVERMp 应用具有重要参考价值。