Ollama项目中的Gemma 2模型推理性能下降问题分析

问题背景

近期在Ollama项目中使用Gemma 2 9B Q4模型时，用户报告了从0.5.12版本升级到0.5.13-rc1版本后出现的显著性能下降问题。具体表现为推理速度从149 tokens/s骤降至35 tokens/s，降幅高达314%。这一问题在Ubuntu 24.04.2 LTS和Windows 11系统上均有复现，硬件配置包括RTX 5090和RTX 4070 Ti SUPER等高端显卡。

问题现象分析

通过对日志的深入分析，我们发现以下几个关键差异点：

1. 计算图分割差异：0.5.12版本显示graph splits = 2，而0.5.13-rc1版本显示graph splits = 86。这表明新版本的计算图被分割成了更多小块，可能导致额外的计算开销。

2. 计算缓冲区大小变化：0.5.12版本的CUDA主机计算缓冲区为39.01 MiB，而0.5.13-rc1版本增加到104.01 MiB。缓冲区增大可能影响内存访问效率。

3. CUDA架构支持差异：两个版本支持的CUDA架构列表有所不同，这可能影响特定硬件的优化效果。

4. 请求处理时间对比：相同API请求在0.5.12版本处理时间为592ms，而在0.5.13-rc1版本延长至5.46秒，性能差异显著。

根本原因定位

经过技术团队深入调查，发现问题根源在于Flash Attention功能的实现变化：

• 在0.5.12版本中，Flash Attention功能默认启用，且实现方式较为高效
• 0.5.13-rc1版本中，上游代码添加了禁用Flash Attention的选项，但由于默认值设置问题，实际上导致该功能被意外禁用
• Flash Attention是一种优化注意力机制计算的技术，能显著提升Transformer类模型的推理速度，其禁用会导致性能大幅下降

解决方案与验证

用户通过设置环境变量OLLAMA_FLASH_ATTENTION=0验证了这一问题。虽然这个设置看似矛盾（禁用Flash Attention反而提升性能），但实际上反映了新版本中该功能的实现存在问题。

技术团队确认解决方案是显式重新启用Flash Attention功能。这可以通过以下方式实现：

1. 在配置中明确设置OLLAMA_FLASH_ATTENTION=1
2. 等待官方发布修复该问题的版本更新

技术建议

对于遇到类似问题的用户，建议：

1. 检查系统日志中关于Flash Attention的加载状态
2. 对比不同版本的系统信息输出，特别是CPU/GPU后端加载情况
3. 在性能关键场景中，进行版本升级前的基准测试
4. 关注计算图分割数量和计算缓冲区大小的变化

总结

本次Ollama项目中Gemma 2模型性能下降问题，揭示了深度学习推理引擎中一个典型的技术挑战：即使是看似微小的默认配置变化，也可能对性能产生重大影响。这提醒开发者在进行版本升级时，需要全面评估各项优化功能的启用状态，并通过详尽的性能测试来确保升级的稳定性。

对于终端用户而言，理解这些底层技术细节虽然不必要，但了解基本的性能监测和问题排查方法，将有助于更好地使用和维护AI推理服务。技术团队已经定位问题原因，预计在后续版本中会提供更稳定的Flash Attention实现。