Ollama项目中Gemma3模型内存泄漏问题的分析与解决

问题背景

在Ollama项目中使用Gemma3模型时，用户报告了一个严重的内存泄漏问题。当运行Gemma3模型时，系统内存会随时间推移被完全耗尽，而相比之下，使用其他模型如qwen2.5时仅消耗约1.5GB内存。这一问题在多个用户环境中得到验证，包括Linux系统、NVIDIA GPU和Intel CPU的组合配置。

现象描述

内存泄漏表现为进程内存使用量持续增长，最终耗尽系统资源。用户提供的监控截图显示，随着请求次数增加，内存占用从初始状态逐渐攀升至系统上限：

• 100次请求后：内存使用量显著增加
• 600次请求后：内存几乎被完全占用

系统日志显示，Ollama服务在运行Gemma3模型时，会不断映射128MB的内存块到地址空间，但这些内存未被正确释放。

技术分析

通过深入调查，开发团队发现了问题的根本原因：

1. 内存管理缺陷：模型运行过程中，虽然释放了输入张量的元数据，但实际数据缓冲区未被释放。这导致每次推理都会泄漏部分内存。

2. Flash Attention的影响：当启用Flash Attention优化时，内存泄漏速度明显加快。这是因为Flash Attention使用了更多更大的缓冲区，放大了内存管理问题。

3. 容器环境特殊性：有趣的是，这一问题在容器环境中表现更为明显，而在裸机环境中较难复现。这可能与容器内存管理机制有关。

解决方案

开发团队针对这一问题实施了以下修复措施：

1. 完善内存释放机制：确保不仅释放张量元数据，也正确释放实际数据缓冲区。

2. 优化缓冲区重用：改进缓冲区回收策略，避免每次推理都分配新内存。

3. 兼容性调整：确保修复方案在不同运行环境（容器/裸机）下都能正常工作。

验证与效果

修复后的版本（v0.6.6）在多用户环境中验证有效：

• Windows 11 + Docker Desktop + RTX 4090环境运行Gemma3:12b模型稳定
• 内存使用量保持平稳，不再随时间增长
• 模型推理性能未受影响

最佳实践建议

对于使用Ollama运行大模型的用户，建议：

1. 及时更新：使用最新版本Ollama以获得内存管理改进。

2. 监控资源：定期检查内存使用情况，特别是长时间运行的模型服务。

3. 环境选择：如果可能，优先考虑裸机环境而非容器环境运行资源密集型模型。

4. 参数调优：根据硬件配置合理设置batch size和并行度，平衡性能与资源消耗。

这一问题的解决不仅提升了Gemma3模型的稳定性，也为Ollama项目的内存管理机制积累了宝贵经验，为后续支持更大、更复杂的模型奠定了基础。