利用NUMA技术优化ktransformers推理性能的实践指南

背景介绍

在大型语言模型推理过程中，内存访问效率往往成为性能瓶颈之一。ktransformers项目作为一个高效的推理框架，通过支持NUMA(Non-Uniform Memory Access)技术，显著提升了在多核CPU系统上的推理速度。本文将详细介绍如何通过NUMA技术优化ktransformers的推理性能。

NUMA技术简介

NUMA(非一致性内存访问)是一种计算机内存设计架构，特别适用于多处理器系统。在NUMA架构中，处理器访问本地内存的速度比访问远程内存(连接到其他处理器的内存)要快。现代服务器级CPU通常都采用NUMA架构，合理利用这一特性可以显著提升内存密集型应用的性能。

硬件环境准备

要实现NUMA优化，首先需要确认硬件支持。典型的NUMA优化环境需要：

• 多核CPU(如Intel Xeon Silver 4310等服务器级处理器)
• 大容量内存(建议至少128GB)
• 高性能GPU(如NVIDIA 4090或A6000)

软件配置步骤

1. 安装NUMA开发库

在基于Debian/Ubuntu的系统上，执行以下命令安装NUMA开发包：

apt install libnuma-dev

2. 获取ktransformers源代码

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init
git submodule update

3. 编译支持NUMA的版本

使用项目提供的特殊编译目标进行编译：

make install_numa

编译过程中，需要确认输出日志中包含"NUMA support is enabled"和"NUMA library found"等信息，确保NUMA支持已正确启用。

验证NUMA配置

1. 检查系统NUMA支持

numactl --hardware

该命令会显示系统的NUMA节点信息，包括每个节点包含的CPU核心和内存容量。

2. 确认内核NUMA平衡

cat /proc/sys/kernel/numa_balancing

输出为1表示系统已启用NUMA平衡功能。

3. 监控内存分配

在模型推理过程中，可以使用以下命令实时监控内存分配情况：

watch -n1 numastat -p <pid>

其中<pid>是ktransformers进程的ID，可以通过nvidia-smi命令获取。

性能提升效果

根据实际测试数据，启用NUMA支持后，ktransformers的推理速度有显著提升：

• 在Intel Xeon Silver 4310 + NVIDIA 4090平台上，生成速度从5.2 tokens/s提升到7.4 tokens/s，提升幅度约42%
• 在NVIDIA A6000平台上，DeepSeek-R1-Q4_K_M模型的推理速度从6.5 tokens/s提升到11.5 tokens/s，提升幅度高达77%

优化原理分析

NUMA优化主要通过以下机制提升性能：

1. 内存本地化：确保每个CPU核心尽可能访问本地内存，减少跨节点内存访问带来的延迟
2. 负载均衡：合理分配计算任务到不同的NUMA节点，充分利用所有计算资源
3. 缓存友好：减少远程内存访问，提高CPU缓存命中率

注意事项

1. 并非所有系统都能从NUMA优化中获益，单节点系统或内存访问模式不均衡的系统可能效果不明显
2. 过度优化NUMA配置可能导致性能下降，建议基于实际监控数据进行调整
3. 不同模型和硬件配置的最佳NUMA参数可能不同，需要进行针对性调优

总结

通过合理配置NUMA支持，ktransformers在多核CPU系统上的推理性能可以得到显著提升。本文介绍的方法已在多个硬件平台上验证有效，为大型语言模型的高效推理提供了一种简单而有效的优化手段。对于追求极致推理性能的用户，NUMA优化是一个值得尝试的技术方向。