如何快速上手Ollama：本地运行Kimi、GLM、DeepSeek等AI模型的完整指南

2026-04-26 11:00:02作者：温艾琴Wonderful

Ollama是一个开源项目，让你能在本地计算机上轻松运行各种大型语言模型。它支持包括Kimi-K2.5、GLM-5、MiniMax、DeepSeek、gpt-oss、Qwen、Gemma等在内的众多热门模型，无需复杂的配置即可在本地环境中获得AI能力。无论你是开发者、研究人员还是普通用户，Ollama都能为你提供便捷的本地AI体验。

项目核心亮点

为什么要选择Ollama？以下是你无法抗拒的几大理由：

一键部署，零配置启动：Ollama提供了跨平台的安装脚本，只需一行命令即可完成安装，无需复杂的GPU驱动配置或环境搭建。支持macOS、Windows和Linux三大主流操作系统，真正实现开箱即用。
丰富的模型生态：Ollama支持超过100种开源模型，从轻量级的7B参数模型到强大的70B参数模型应有尽有。无论是中文的Qwen、GLM，还是国际的Gemma、Llama，都能在本地流畅运行。
无缝的开发者集成：Ollama提供REST API接口，可以轻松集成到你的应用程序中。支持Python、JavaScript等多种编程语言，还有VS Code、IntelliJ等IDE的官方扩展，让AI能力无缝融入你的开发工作流。
完全的本地化运行：所有模型和数据都在本地运行，确保数据隐私和安全。不需要将敏感信息上传到云端，特别适合企业内网环境和个人隐私保护需求。
灵活的配置选项：支持调整上下文长度、温度参数等关键设置，还可以通过Modelfile自定义模型行为，满足不同场景下的个性化需求。

快速上手指南

一键安装步骤

根据你的操作系统，选择对应的安装命令：

macOS/Linux用户：

curl -fsSL https://ollama.com/install.sh | sh

Windows用户（PowerShell）：

irm https://ollama.com/install.ps1 | iex

安装完成后，在终端输入ollama命令即可启动交互式菜单界面。使用上下箭头键导航，回车键确认选择，ESC键退出。

模型下载与运行

Ollama提供了简单直观的模型管理方式。要运行Gemma 3模型，只需执行：

ollama run gemma3

系统会自动下载模型文件（首次运行需要下载，约5-15GB），下载完成后即可开始对话。你可以尝试询问任何问题，比如"为什么天空是蓝色的？"或"帮我写一个Python函数来计算斐波那契数列"。

集成开发环境配置

Ollama与主流IDE深度集成，让AI辅助编程变得简单：

VS Code集成：安装Ollama扩展后，可以在编辑器内直接与模型对话，获取代码解释、重构建议和bug修复。

Claude Code启动：如果你习惯使用Claude风格的代码助手，可以通过以下命令启动：

ollama launch claude

OpenCode集成：对于需要深度代码理解和生成的场景，启动OpenCode：

ollama launch opencode

API快速调用

Ollama提供REST API接口，方便集成到你的应用程序中：

curl http://localhost:11434/api/chat -d '{
  "model": "gemma3",
  "messages": [{
    "role": "user",
    "content": "用Python写一个快速排序算法"
  }],
  "stream": false
}'

Python用户可以直接使用官方库：

from ollama import chat

response = chat(model='gemma3', messages=[
  {
    'role': 'user',
    'content': '用Python写一个快速排序算法',
  },
])
print(response.message.content)

第三方应用连接

Ollama支持多种第三方应用集成。在Marimo这样的数据科学工具中，你可以直接选择Ollama作为AI后端，进行数据分析和可视化。类似的集成还支持Onyx、N8N等工作流工具，让你在熟悉的界面中使用本地AI能力。

进阶使用技巧

模型管理与优化

Ollama提供了强大的模型管理功能。你可以通过ollama list查看已下载的模型，使用ollama pull <model-name>下载新模型，或通过ollama rm <model-name>删除不需要的模型。

对于性能优化，Ollama支持量化技术，可以在保持模型效果的同时显著减少内存占用。例如，使用4-bit量化的7B参数模型仅需约4GB显存，让普通消费级显卡也能流畅运行。

自定义模型配置

通过创建Modelfile，你可以自定义模型的行为和参数。以下是一个示例Modelfile：

FROM gemma3

# 设置系统提示词
SYSTEM """你是一个有帮助的AI助手，回答要简洁明了。"""

# 调整参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 4096

# 添加模板
TEMPLATE """{{ .System }}
用户：{{ .Prompt }}
助手："""

创建后使用ollama create <custom-model-name> -f ./Modelfile即可创建自定义模型。