ktransformers项目在双路服务器上的NUMA优化配置指南

前言

在现代高性能计算环境中，NUMA（非统一内存访问）架构已成为多处理器系统的标准配置。ktransformers项目作为一个高性能的深度学习推理框架，特别针对NUMA架构进行了优化。本文将详细介绍如何在双路服务器上正确配置ktransformers以充分利用NUMA架构的优势。

NUMA架构基础

NUMA架构将处理器和内存划分为多个节点，每个节点内的内存访问速度最快，跨节点访问则会有明显的性能下降。典型的双路服务器包含两个NUMA节点，每个节点对应一个物理CPU插槽及其本地内存。

问题现象

用户在使用ktransformers时发现，在双路服务器上即使设置了USE_NUMA=1环境变量，模型内存仍被平均分配到两个NUMA节点上，导致大量跨节点内存访问，性能显著下降（65核CPU下仅6 tokens/s）。而当使用numactl命令将进程绑定到单个NUMA节点时，性能恢复正常（32核CPU下8.73 tokens/s）。

根本原因分析

经过排查，发现问题的根源在于系统缺少必要的NUMA支持库。ktransformers的NUMA优化功能依赖于libnuma-dev库，而该库在默认情况下可能未安装。

解决方案

要正确启用ktransformers的NUMA优化功能，需要执行以下步骤：

1. 安装NUMA开发库

sudo apt update
sudo apt install libnuma-dev

2. 设置环境变量并重新编译

export USE_NUMA=1
# 重新安装ktransformers

3. 验证NUMA配置 使用numastat等工具验证内存分配是否符合预期

性能优化建议

1. 对于双路服务器，建议将模型完整复制到每个NUMA节点的本地内存中，避免跨节点访问
2. 合理分配CPU核心，确保工作线程主要访问本地内存
3. 监控NUMA平衡情况，必要时可以禁用自动NUMA平衡

echo 0 > /proc/sys/kernel/numa_balancing

结论

正确配置NUMA环境对于充分发挥ktransformers在双路服务器上的性能至关重要。通过安装必要的NUMA支持库并合理配置环境变量，可以显著提升模型推理性能，避免不必要的跨节点内存访问开销。建议用户在部署前仔细检查NUMA相关依赖和配置，以获得最佳性能表现。