Ollama加载deepseek模型库全流程教程:从GGUF到本地对话的10个关键步骤
Ollama加载deepseek模型库全流程教程:从GGUF到本地对话的10个关键步骤
本文面向新手,讲解如何用 Ollama 加载 deepseek 模型库中的 GGUF 量化模型(DeepSeek-R1-Distill-Qwen 1.5B / 7B / 14B / 32B 等),按 10 个关键步骤完成从下载模型到本地离线对话的完整流程,无需 GPU 也能跑起来。
步骤 1:认识 deepseek 模型库里的 GGUF 文件 📦
本仓库是一个现成的 GGUF 量化模型库,核心是 DeepSeek-R1 蒸馏系列(基于 Qwen 架构,推理能力出色):
| 模型文件 | 量化 | 体积 | 适合场景 |
|---|---|---|---|
| deepseek-ai.DeepSeek-R1-Distill-Qwen-1.5B.Q8_0.gguf | Q8_0 | 约 1.9 GB | 轻薄本、快速体验 |
| deepseek-ai.DeepSeek-R1-Distill-Qwen-7B.Q8_0.gguf | Q8_0 | 约 8.1 GB | 日常主力,推荐入门 |
| deepseek-ai.DeepSeek-R1-Distill-Qwen-14B.Q8_0.gguf | Q8_0 | 约 15.7 GB | 更强推理质量 |
| deepseek-ai.DeepSeek-R1-Distill-Qwen-32B.Q8_0.gguf | Q8_0 | 约 34.8 GB | 高配机器 |
| DeepSeek-R1-Distill-Llama-70B-Q5_K_S.gguf | Q5_K_S | 约 48.7 GB | 高性能工作站 |
库中还附带了几款常用辅助模型,可按需使用:
- 对话模型:Qwen3.5-4B-Q4_K_M.gguf、gemma-3-1b-it-q4_0.gguf、gemma-3-4b-it-q4_0.gguf
- 向量/重排模型:bge-large-en-v1.5.Q8_0.gguf(文本向量化)、jina-reranker-v2-base-multilingual-Q8_0.gguf(结果重排序)
💡 Q8_0 指 8 比特量化,精度接近原始模型;文件越大,效果越好,但对内存要求也越高。
步骤 2:获取模型文件(git clone 一步到位)
仓库中的 .gguf 文件通过 Git LFS 存储,推荐直接克隆整个仓库拿到完整模型文件:
git clone https://gitcode.com/hf_mirrors/electricpipelines/deepseek
⚠️ 如果克隆后文件只有几百字节,说明拉下的是 LFS 指针而非真实模型,需在目录内执行
git lfs pull补全大文件。
仓库中还提供了 PowerShell 批量下载脚本 download.ps1,Windows 用户可参考其模型清单按需获取。项目说明见 README.md。
步骤 3:安装并确认 Ollama 环境 ✅
- 到 Ollama 官方渠道下载安装包,按提示完成安装;
- 打开终端,输入
ollama -v查看版本号,确认安装成功; - 若命令不可用,重启一次终端再试。
Ollama 会自动在后台管理模型进程,无需额外配置端口或数据库,这也是它比手动跑 GGUF 更省心的原因。
步骤 4:按硬件选择合适尺寸的模型
选错尺寸是最常见的新手坑,按内存(RAM)对照下表选择:
- 8 GB 内存:1.5B,可流畅运行
- 16 GB 内存:7B,效果与速度的最佳平衡点
- 32 GB 内存:14B
- 64 GB 内存:32B
- 96 GB 以上:70B
没有独立显卡也没关系,Ollama 支持纯 CPU 推理,只是速度会慢一些。
步骤 5:编写 Modelfile 指向 GGUF
在项目目录下新建一个 Modelfile 文件,核心是让 Ollama 知道模型文件位置:
FROM ./deepseek-ai.DeepSeek-R1-Distill-Qwen-7B.Q8_0.gguf
PARAMETER temperature 0.7
FROM填模型相对路径,换其他尺寸只需改文件名;temperature控制回复随机性,0.7 适合日常问答,写代码可调到 0.3。
步骤 6:用 ollama create 构建自定义模型
ollama create deepseek-r1-7b -f Modelfile
首次构建会读取 GGUF 文件并生成缓存,视文件体积可能需要几分钟。命令执行完毕无报错,即表示模型注册成功。
步骤 7:用 ollama list 验证加载结果
ollama list
输出中能看到 deepseek-r1-7b 及其大小,说明 GGUF 已成功转成 Ollama 可运行模型。
步骤 8:启动本地对话 🗨️
ollama run deepseek-r1-7b
进入交互界面后直接输入中文问题即可,例如“用一句话解释什么是量子计算”。常用操作:
- 输入
/bye退出对话; - 对话过程中
Ctrl + C可中断当前回答; - 想换模型就再次执行
ollama run加其他模型名。
整个过程完全离线,对话内容不会上传到任何服务器。
步骤 9:多模型管理与参数微调
仓库里同时有 5 个 DeepSeek 蒸馏模型,可按同样流程各建一个 Ollama 模型并起不同名字(如 deepseek-r1-1.5b、deepseek-r1-14b),方便随时切换:
ollama ps:查看当前正在运行的模型和占用内存;ollama stop deepseek-r1-7b:停掉模型释放内存;ollama rm deepseek-r1-7b:删除不再需要的模型。
步骤 10:常见问题排查清单 🛠️
| 现象 | 原因与解决办法 |
|---|---|
| 模型文件只有 100 多字节 | 拉到的是 Git LFS 指针,执行 git lfs pull 重新下载 |
ollama create 提示文件找不到 |
Modelfile 中路径写错,确认在模型所在目录执行命令 |
| 运行时卡顿或崩溃(OOM) | 内存不足,换更小尺寸模型,如 7B → 1.5B |
| 回答"胡言乱语" | 换用更高量化版本(Q8_0),或降低 temperature |
ollama list 里看不到模型 |
构建未成功,重新执行 ollama create 并查看完整报错 |
小结
按照以上 10 个步骤,你已经可以:用 git clone 获取 deepseek 模型库 → 用 Modelfile 指向 GGUF → 通过 ollama create 和 ollama run 在本地完成离线对话。建议新手从 7B Q8_0 版本起步,体验流畅后再根据内存升级 14B 或 32B,享受完全私人的 AI 对话体验。