使用dperf测试100G网卡转发性能瓶颈分析

测试环境与问题描述

在基于dperf和DPDK的高性能网络测试环境中，我们遇到了一个典型的性能瓶颈问题。测试环境采用三台配备Intel E810-C 100G网卡的服务器，初始测试中两台服务器直接通过dperf进行流量测试能够达到线速100Gbps。然而，当在中间加入一台运行DPDK testpmd的转发设备后，性能骤降至约50Gbps。

硬件与软件配置

测试平台采用Intel Xeon Silver 4216处理器（32核@2.1GHz），配备Intel E810-C 100G网卡。软件环境为Ubuntu 22.04系统，内核版本6.8.0-49-generic，DPDK版本22.11，dperf基于fcf5035b032a提交版本。

系统优化方面已进行充分配置：

• 分配16个1GB大页内存
• CPU隔离设置（isolcpus=1-21）
• 关闭节能特性（idle=poll等）
• 启用VFIO和IOMMU

性能瓶颈分析

1. 转发设备资源不足

从testpmd的统计信息可见明显的丢包现象：

RX-packets: 819494879 RX-dropped: 356938203

这表明转发设备无法处理全部流量，主要原因包括：

1. CPU资源不足：虽然使用了15个核心，但E810-C网卡在100G线速下需要更高的处理能力
2. 队列配置不当：16个RX/TX队列可能无法充分利用硬件能力
3. burst size设置不合理：默认32的burst size对高吞吐场景可能偏小

2. dperf配置优化空间

dperf客户端的配置存在可优化点：

• 未充分利用多核处理能力（仅使用单核）
• burst size设置与转发设备不匹配
• 不必要的RSS配置（物理网卡场景）

性能优化建议

1. 转发设备优化

CPU资源配置：

• 使用更多物理核心（建议至少20个）
• 确保核心绑定到正确的NUMA节点
• 考虑启用超线程（如有）

队列优化：

• 增加RX/TX队列数量（建议32个）
• 确保队列与CPU核心合理绑定

参数调整：

• 增大burst size（尝试64或128）
• 增加mbuf池大小
• 调整描述符数量（2048或更高）

2. dperf配置优化

多核利用：

• 启用多核心处理（launch_num参数）
• 合理分配CPU核心

参数匹配：

• 调整burst size与转发设备一致
• 移除不必要的RSS配置
• 优化payload size（考虑使用jumbo frame）

深入分析

在100G网络测试中，转发设备的性能至关重要。E810-C网卡虽然支持100G线速，但实际转发性能受限于：

1. PCIe带宽：确保使用PCIe 4.0 x16接口
2. 内存带宽：DDR4内存带宽可能成为瓶颈
3. 缓存效率：优化数据局部性减少缓存失效

建议进一步监控：

• 使用DPDK的telemetry接口获取详细统计
• 监控CPU利用率（特别是转发核心）
• 检查PCIe带宽利用率

结论

100G网络性能测试是一个系统工程，需要端到端的优化。转发设备的处理能力往往是瓶颈所在，需要针对特定硬件进行精细调优。通过合理的资源配置和参数调整，可以显著提升转发性能，接近理论线速。

对于生产环境中的高性能网络测试，建议建立基准测试模型，逐步验证各组件性能，最终实现端到端的最优配置。