NCCL项目中RDMA网卡mlx5_3通信故障分析与解决方案
2025-06-19 14:08:36作者:羿妍玫Ivan
问题背景
在NCCL 2.22.3版本与CUDA 12.5环境下,用户在使用特定RDMA网卡(mlx5_3)运行all_reduce_perf测试时遇到通信故障。该问题表现为当数据量达到一定规模(如1<<21)时,系统会报告"Got completion with error"错误,错误代码0x00000009(IBV_WC_RETRY_EXC_ERR),表明发生了重试次数超限的RDMA通信错误。
故障现象特征
- 设备相关性:问题仅出现在mlx5_3网卡上,其他网卡(mlx5_0/1/2)工作正常
- 数据量敏感:小数据量(如20-1024元素)可正常通信,大数据量(1<<21)必现故障
- 环境特征:
- 使用RoCE协议而非InfiniBand
- 禁用GPU Direct RDMA(NCCL_NET_GDR_LEVEL=LOC)后问题消失
- 使用NCCL内部RDMA支持(NCCL_NET=IB)问题依旧
深度排查过程
第一阶段:基础排查
- 验证ACS(Access Control Services)状态,确认所有节点ACSCtl标志均为"-"(已禁用)
- 检查VT-d设置,确认BIOS和内核中均已禁用IOMMU
- 网络连通性测试(ping -I)显示物理层通信正常
第二阶段:问题隔离
- 通过NCCL_IB_HCA环境变量指定网卡,确认仅mlx5_3存在故障
- 使用perftest工具测试mlx5_3的RDMA性能,意外发现可通过测试
- 对比不同节点的网卡固件版本,发现mlx5_0/1与mlx5_2/3存在版本差异
第三阶段:关键发现
- 检查RDMA统计计数器,发现"rx_prio3_pause"持续增长直至通信中断
- 分析GID索引配置,发现mlx5_3的GID索引异常:
输出显示GID索引配置错误,与预期不符ibv_devinfo -d mlx5_3 | grep GID
根本原因分析
该问题由以下因素共同导致:
- 网卡流控制异常:mlx5_3网卡的优先级3(Prio3)接收缓冲区持续产生暂停帧,导致通信吞吐量下降最终超时
- 驱动加载问题:网卡驱动重新加载后未正确初始化GID索引表
- 硬件兼容性问题:不同批次的网卡固件版本差异加剧了流控制异常
解决方案
-
临时解决方案:
- 禁用GPU Direct RDMA:
export NCCL_NET_GDR_LEVEL=LOC - 避免使用故障网卡:
export NCCL_IB_HCA=mlx5_0,mlx5_1,mlx5_2
- 禁用GPU Direct RDMA:
-
根本解决方案:
- 更新网卡固件至最新稳定版本
- 重新配置RDMA流控制参数:
sudo mlnx_qos -i ib3b-0 --pfc 0,0,0,1,0,0,0,0 - 完全卸载并重新安装驱动:
sudo /etc/init.d/openibd restart sudo ibdev2netdev -v
-
预防措施:
- 部署前统一所有节点的网卡固件版本
- 在/etc/modprobe.d/mlx4_core.conf中添加流控制参数:
options mlx4_core log_num_mgm_entry_size=-1
技术启示
-
RDMA网络问题排查应遵循从物理层到协议层的完整检查链:
- 物理连接 → 驱动状态 → 协议配置 → 应用参数
-
NCCL性能问题需区分是软件配置问题还是硬件兼容性问题:
- 通过NCCL_P2P_LEVEL/NCCL_NET_GDR_LEVEL隔离GPU Direct问题
- 通过NCCL_IB_HCA定位特定网卡问题
-
生产环境中建议:
- 部署前进行全量网卡矩阵测试
- 监控RDMA计数器(rx_prio*_pause)预防流控制问题
- 建立固件版本兼容性矩阵
该案例展示了在高性能计算环境中,硬件微妙的兼容性问题如何通过复杂的软件栈表现出来,也验证了系统化排查方法在解决此类问题中的重要性。
登录后查看全文
热门项目推荐
相关项目推荐
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-OCR暂无简介Python00
openPangu-Ultra-MoE-718B-V1.1昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
AI内容魔方AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03
Spark-Scilit-X1-13BFLYTEK Spark Scilit-X1-13B is based on the latest generation of iFLYTEK Foundation Model, and has been trained on multiple core tasks derived from scientific literature. As a large language model tailored for academic research scenarios, it has shown excellent performance in Paper Assisted Reading, Academic Translation, English Polishing, and Review Generation, aiming to provide efficient and accurate intelligent assistance for researchers, faculty members, and students.Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile013
Spark-Chemistry-X1-13B科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选
收起
deepin linux kernel
C
24
6
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
241
2.38 K
仓颉编译器源码及 cjdb 调试工具。
C++
115
86
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
1.02 K
405
React Native鸿蒙化仓库
JavaScript
216
291
Ascend Extension for PyTorch
Python
79
113
仓颉编程语言运行时与标准库。
Cangjie
122
97
仓颉编程语言测试用例。
Cangjie
34
71
暂无简介
Dart
539
118
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
590
119