SPDK NVMe-oF RDMA连接问题分析与解决

问题现象描述

在使用SPDK搭建NVMe over Fabrics (NVMe-oF) RDMA环境时，用户遇到了连接失败的问题。具体表现为在主机端执行nvme discover命令时出现"Connection reset by peer"错误，同时内核日志中出现"kobject is not initialized"警告信息。

环境配置

• 硬件平台：基于飞腾FT5000c处理器的ARM64服务器
• 网络设备：Mellanox CX-6网卡（RDMA）
• 软件版本：
  • SPDK版本：24.01
  • 内核版本：6.6.0-11
  • MLNX驱动版本：24.07-0.6.1.0

详细错误分析

初始错误表现

当尝试通过RDMA连接到NVMe-oF目标端时，主机端出现以下错误：

nvme discover -t rdma -a xx.xx.xx.51 -s 4421
Failed to write to /dev/nvme-fabrics: Connection reset by peer
failed to add controller, error failed to write to nvme-fabrics device

内核日志(dmesg)中同时出现以下警告：

[18328.544917] HG@\x07: rdma connection establishment failed (-104)
[18328.545049] kobject: '' (00000000b63ad2f9): is not initialized, yet kobject_put() is being called.

深入分析

1. RDMA连接失败：错误代码-104(ECONNRESET)表明连接被对等方重置，这通常意味着网络层面存在问题。

2. kobject警告：这是一个内核对象管理相关的警告，表明在释放资源时出现了异常情况，通常是由于资源初始化不完整或释放顺序不当导致的。

3. 网络配置问题：进一步排查发现，服务器上同时存在以太网卡和RDMA网卡，且它们的IP地址配置在同一网段。这种配置可能导致路由混乱，影响RDMA通信。

解决方案

经过多次测试和分析，最终确定问题根源在于网络配置冲突。具体解决方案如下：

1. 隔离网络配置：确保RDMA网卡和以太网卡的IP地址不在同一子网内。例如：

   • 以太网卡使用192.168.1.x网段
   • RDMA网卡使用172.16.1.x网段

2. 临时验证方法：可以通过禁用以太网接口来快速验证问题：

   ifconfig enp4s2f0 down
   

3. 永久解决方案：修改网络配置文件，确保不同网络接口使用不同的IP地址段，避免路由冲突。

技术原理深入

NVMe-oF RDMA通信机制

NVMe over RDMA是一种高性能存储网络协议，它利用RDMA(远程直接内存访问)技术实现低延迟、高吞吐量的存储访问。当出现连接问题时，需要从以下几个层面进行排查：

1. 网络层面：检查IP可达性、子网划分、路由表等
2. RDMA层面：验证RDMA设备状态、队列对(QP)配置等
3. NVMe协议层面：确认控制器ID匹配、发现服务等

多网卡环境下的路由问题

在同时配置以太网和RDMA网卡的环境中，如果IP地址配置在同一子网，可能导致以下问题：

1. 路由不确定性：系统可能选择错误的网络接口发送数据包
2. ARP冲突：同一IP子网内的不同接口可能导致ARP表混乱
3. RDMA通信中断：RDMA特有的CM(Connection Manager)可能无法正确建立连接

最佳实践建议

1. 网络规划：为RDMA网络单独规划IP地址段，避免与其他网络冲突
2. 配置检查：部署前使用ip addr和ip route命令检查网络配置
3. 隔离测试：先使用最简单的网络配置进行连通性测试，再逐步添加复杂配置
4. 日志监控：密切关注系统日志和SPDK日志，及时发现潜在问题

总结

通过本次问题的排查和解决，我们了解到在部署SPDK NVMe-oF RDMA环境时，合理的网络规划至关重要。特别是在多网卡环境中，必须确保RDMA网络与其他网络的隔离性，避免IP地址冲突和路由混乱。这一经验对于构建高性能、高可靠的存储网络架构具有重要参考价值。