Neo4j LLM Graph Builder 项目中的内存不足问题分析与解决方案

问题现象

在使用Neo4j LLM Graph Builder项目构建知识图谱时，用户遇到了后端工作进程被SIGKILL信号终止的问题，错误信息显示"Perhaps out of memory?"。具体表现为：

1. 能够成功上传PDF文件并点击生成图谱按钮
2. 处理进度卡在0%不动
3. Neo4j数据库中部分数据块(chunks)已创建但处理未完成

错误分析

从日志中可以观察到几个关键点：

1. 工作进程(Worker)反复被终止并重启
2. 系统尝试加载SentenceTransformer模型(all-MiniLM-L6-v2)
3. 出现PyTorch相关警告信息
4. 日志显示使用的是CPU设备而非GPU

根本原因

这个问题主要由以下几个因素共同导致：

1. 工作进程数量过多：默认配置可能启动了过多的工作进程，超出了系统可用内存容量
2. 嵌入模型内存需求：SentenceTransformer模型加载需要较大内存空间
3. CPU模式限制：在没有GPU的情况下，所有计算都在CPU上完成，内存压力更大

解决方案

1. 调整工作进程数量

修改项目配置，减少同时运行的工作进程数量。对于一般配置的机器，建议：

• 4GB内存：1-2个工作进程
• 8GB内存：2-3个工作进程
• 16GB及以上内存：可根据实际情况增加

2. 优化模型加载方式

考虑以下优化手段：

• 实现模型共享机制，避免每个工作进程都独立加载模型
• 使用更轻量级的嵌入模型
• 启用模型缓存功能

3. 硬件配置建议

如果条件允许：

• 使用配备GPU的机器运行项目，可以显著降低内存压力
• 增加系统交换空间(Swap)作为临时解决方案
• 确保Docker容器有足够的内存分配

实施步骤

1. 定位项目中的工作进程配置(通常在Gunicorn或类似WSGI服务器的配置中)
2. 根据机器配置调整worker数量参数
3. 重新构建并启动Docker容器
4. 监控系统资源使用情况，必要时进一步调整

预防措施

为避免类似问题再次发生：

1. 实现资源监控机制，在内存不足前预警
2. 添加自动缩放功能，根据系统负载动态调整工作进程
3. 在文档中明确说明系统资源需求
4. 提供不同硬件配置下的推荐参数设置

通过以上调整，应该能够解决Neo4j LLM Graph Builder项目中的内存不足问题，确保知识图谱构建流程顺利完成。