ROCm项目MI100加速卡高性能计算与调优指南

前言

AMD Instinct™ MI100加速卡是AMD推出的高性能计算GPU产品，基于CDNA架构设计，专为HPC和AI工作负载优化。本文将深入解析如何在ROCm平台上对MI100进行系统级调优，帮助用户充分发挥硬件性能。

系统配置优化

BIOS设置最佳实践

针对搭载AMD EPYC™ 7002/7003系列处理器的系统，我们推荐以下BIOS配置方案：

关键PCIe子系统设置

• Above 4G Decoding：必须启用，这是支持GPU大BAR内存映射的基础
• PCIe Ten Bit Tag Support：启用可提升PCIe传输效率
• xGMI链路设置：建议将xGMI max speed设为最高支持的18Gbps

处理器核心配置

• SMT控制：根据应用特性选择启用或禁用
• NUMA节点配置：
  • NPS1（单NUMA域）：适合内存带宽敏感型应用
  • NPS4（四NUMA域）：推荐用于MPI并行应用
• 电源管理：
  • cTDP和Package Power Limit设为240W
  • DF C-states设为Auto
  • Fixed SOC P-state设为P0

内存子系统优化

• 内存时钟：设置为DIMM支持的最高频率（如3200MHz对应1600MHz设置）
• Enforce POR：设为Accept并启用Overclock
• Power Down Enable：禁用以减少内存访问延迟

NBIO链路时钟频率详解

NBIO（North Bridge I/O）是EPYC处理器中负责I/O信号处理的组件，每个处理器包含4个NBIO模块。LCLK（链路时钟频率）控制着NBIO与数据交换结构（Data Fabric）之间的连接速度：

• EPYC 7002系列：需要通过AMD-IOPM-UTIL工具在每次启动时禁用动态电源管理
• EPYC 7003系列：只需在BIOS中启用"Enhanced Preferred I/O"模式

操作系统级调优

CPU核心状态管理

AMD EPYC处理器支持多种C-states节能状态：

• C0：活跃状态，核心正在执行指令
• C1：轻度休眠状态
• C2：深度休眠状态（会引入较高唤醒延迟）

建议通过以下命令禁用C2状态：

cpupower idle-set -d 2

各Linux发行版安装cpupower工具的方法：

• Ubuntu/Debian：sudo apt install linux-tools-common
• RHEL/CentOS：sudo yum install cpupowerutils
• SLES：sudo zypper install cpupower

AMD-IOPM-UTIL工具使用

针对EPYC 7002系列处理器的I/O电源管理优化工具：

• 作用：禁用PCIe根复合体的动态电源管理(DPM)
• 优势：降低I/O延迟，提升低带宽突发传输性能
• 部署建议：创建systemd服务单元实现开机自动运行

大核心数系统IOMMU配置

对于256逻辑核心及以上的系统（如双路EPYC 7763+SMT），需特殊配置：

1. BIOS中启用IOMMU
2. 修改Grub配置添加参数：

   amd_iommu=on iommu=pt
   

3. 更新Grub配置并重启

硬件验证与性能分析

ROCm系统工具集

1. rocm-smi：基础硬件信息查询

   rocm-smi --showhw  # 显示GPU设备ID和固件版本
   rocm-smi --showtopo  # 显示系统拓扑结构
   

2. rocminfo：计算能力查询

   • 显示计算单元数量
   • SIMD流水线宽度
   • 内存架构细节
   • 支持的指令集

互联带宽测试

安装带宽测试工具：

# Ubuntu
sudo apt install rocm-bandwidth-test

# RHEL
sudo yum install rocm-bandwidth-test

# SLES
sudo zypper install rocm-bandwidth-test

测试命令及输出解读：

• 设备间可达性矩阵
• NUMA距离信息
• 单向/双向传输带宽实测值

调优建议总结

1. BIOS设置：优先确保Above 4G Decoding和xGMI高速链路配置正确
2. NUMA配置：根据应用特点选择NPS1或NPS4模式
3. 电源管理：禁用深度C-states，固定SOC P-state为P0
4. 大核心系统：正确配置IOMMU避免核心数限制
5. 性能验证：使用rocm-smi和rocm-bandwidth-test验证配置效果

通过以上系统级调优，MI100加速卡在ROCm平台上能够发挥最佳计算性能，为HPC和AI工作负载提供强大的加速能力。