ktransformers项目NUMA模式内存占用问题分析与解决方案

背景介绍

在大型语言模型推理领域，ktransformers项目提供了一个高效的本地聊天实现方案。该项目支持多种运行模式，其中NUMA(Non-Uniform Memory Access)模式是针对多路CPU服务器的优化方案，能够显著提升多处理器环境下的性能表现。

问题现象

用户在使用双路EPYC 7742服务器(共128个核心)运行8bit量化的DeepSeek-V3模型时，发现NUMA模式无法正常工作。具体表现为：

1. 非NUMA模式下，模型可以正常运行，CPU内存占用约19GB，推理速度达到4.5 tokens/s
2. 启用NUMA模式后，系统内存被迅速耗尽(1TB内存+8GB交换空间)，进程被系统终止

技术分析

NUMA模式的工作原理

NUMA模式在多路CPU系统中会将模型数据复制到每个NUMA节点(通常对应每个CPU插槽)的本地内存中。这种设计带来了两个关键特性：

1. 内存访问优化：每个CPU核心访问本地内存的速度显著快于访问远程内存
2. 内存消耗倍增：模型数据会在每个NUMA节点保存完整副本

内存需求计算

以DeepSeek-V3的8bit量化模型为例：

• 单份模型内存占用：约713GB
• 双路系统NUMA模式内存需求：713GB × 2 = 1426GB

用户配置的1TB物理内存显然无法满足需求，导致系统因内存耗尽而终止进程。

解决方案

针对这一问题，我们建议采取以下措施：

1. 增加物理内存

对于双路系统运行大型模型：

• 建议配置至少1.5TB物理内存
• 理想情况下应达到2TB以确保稳定运行

2. 优化模型选择

• 考虑使用更低精度的量化模型(如4bit)
• 评估模型大小与业务需求的平衡点

3. 系统配置调整

• 增加交换空间(临时解决方案)
• 调整NUMA内存分配策略(需谨慎操作)

最佳实践建议

1. 容量规划：部署前精确计算模型内存需求，考虑NUMA复制因素
2. 监控机制：实施内存使用监控，预防OOM(Out Of Memory)事件
3. 渐进式测试：从小模型开始测试，逐步升级到目标模型

总结

NUMA模式虽然能提升多路系统的性能，但其内存复制机制会显著增加总内存需求。用户在使用前必须充分评估硬件资源是否满足要求，特别是对于大型语言模型场景。正确的容量规划和配置是确保系统稳定运行的关键。