Jetson-Containers项目中Ollama支持Gemma 3模型的实践指南

在边缘计算和嵌入式AI领域，NVIDIA Jetson平台因其强大的AI推理能力而广受欢迎。Jetson-Containers项目为Jetson设备提供了容器化的AI工具链支持，其中Ollama作为轻量级大语言模型服务框架，在Jetson设备上运行大语言模型提供了便利。

Gemma 3模型支持问题

近期有用户反馈在Jetson设备上使用ollama:0.5.1-r36.4.0镜像运行Gemma 3模型时遇到版本不兼容的问题。错误提示表明当前的Ollama版本无法支持Gemma 3模型，需要升级到更新的版本。

解决方案演进

项目维护团队迅速响应了这一问题。最初确认ollama:0.6.0版本已经支持Gemma 3模型。随后，项目所有者进一步验证了main-r36.4.0分支的镜像也能够正常运行Gemma 3模型。

然而，随着Ollama模型注册表的更新，用户发现即使使用main-r36.4.0镜像，Gemma 3模型仍然无法正常运行。系统提示需要更新到更新的Ollama版本，尽管当前版本显示为0.6.0。

最新解决方案

经过技术探索，用户发现通过以下命令可以构建支持Gemma 3模型的容器：

CUDA_VERSION=12.8 jetson-containers build ollama:0.6.3

项目团队随后确认并发布了两个新的镜像版本：

• dustynv/ollama:0.6.3-r36.4.0
• dustynv/ollama:main-r36.4.0

这两个版本都经过验证可以正常运行Gemma 3模型。

技术建议

对于希望在Jetson设备上运行Gemma 3模型的开发者，建议：

1. 使用最新发布的0.6.3-r36.4.0或main-r36.4.0镜像
2. 确保CUDA环境配置正确
3. 定期关注项目更新，因为大语言模型生态发展迅速，版本兼容性要求可能会频繁变化

这种快速迭代的版本支持体现了Jetson-Containers项目对边缘AI生态系统的积极响应能力，为开发者在资源受限设备上部署最新大语言模型提供了可靠支持。