10分钟上手:在 LM Studio 中快速运行 gemma-4-26B-A4B-it-QAT-GGUF 的保姆级教程
10分钟上手:在 LM Studio 中快速运行 gemma-4-26B-A4B-it-QAT-GGUF 的保姆级教程
想在自己电脑上跑 Gemma 4 26B 大模型?这篇 gemma-4-26B-A4B-it-QAT-GGUF 新手教程带你 10 分钟在 LM Studio 中完成从下载到聊天的全流程。仓库里直接提供了 Q4_0 量化版 GGUF 模型文件和视觉投影文件,无需任何编译,开箱即用。
认识 gemma-4-26B-A4B-it-QAT-GGUF
在开始之前,先快速了解这套模型是什么:
| 要素 | 说明 |
|---|---|
| 模型作者 | Google(gemma-4-26B-A4B 系列,MoE 架构,总参数 26B / 激活参数 4B) |
| 量化方式 | QAT(Quantization-Aware Training,量化感知训练)+ Q4_0 量化 |
| 文件格式 | GGUF(llama.cpp 生态通用格式,LM Studio 原生支持) |
| 多模态 | 附带视觉投影文件,支持图文理解 |
| 开源协议 | Apache-2.0 |
💡 为什么推荐这个 QAT 版本? 普通模型是"先训练后量化",量化过程会损失精度;而 QAT 在训练阶段就引入了量化信息,因此在 Q4_0 这种低比特量化下,效果几乎不打折——这也是它能"又快又省内存"的关键。
仓库里有哪两个文件?
本仓库结构非常精简,核心就是两个模型文件:
| 文件 | 大小 | 作用 |
|---|---|---|
| gemma-4-26B-A4B-it-QAT-Q4_0.gguf | 约 13.4 GB | 语言模型本体(Q4_0 量化) |
| mmproj-gemma-4-26B-A4B-it-QAT-BF16.gguf | 约 11.2 GB | 多模态视觉投影文件(mmproj,BF16) |
更多背景信息(原始模型、量化工具等)可以在 README.md 中查看:该模型由 LM Studio 团队使用 llama.cpp 完成 GGUF 量化,属于 LM Studio 社区精选模型计划(Community Models)的作品。
硬件要求:能跑吗?
Q4_0 量化下模型本体约 13.4 GB,建议按以下标准评估你的设备:
- 内存/显存(推荐):16 GB 及以上 —— 模型可完整装入显存,速度最佳
- 内存(最低):8 GB —— 可以运行,但会有部分权重落在系统内存,速度明显变慢
- 显卡:NVIDIA / AMD / Apple Silicon 均可,LM Studio 会自动选择加速后端
- 磁盘:预留 30 GB 以上可用空间(模型 + 视觉投影文件)
⚠️ 如果只是为了聊天和文本任务,只加载主模型文件即可;需要上传图片让模型"看图"时再加载 mmproj 文件。
快速开始:LM Studio 中运行 gemma-4-26B-A4B 的 4 个步骤
第 1 步:下载并安装 LM Studio
从 LM Studio 官网获取安装包(支持 Windows / macOS / Linux),双击安装即可。整个过程不需要命令行,全程图形界面操作。
第 2 步:获取模型文件
推荐方式——在 LM Studio 内直接搜索:
- 打开 LM Studio,点击顶部的搜索栏
- 输入
gemma-4-26B-A4B-it-QAT,找到本仓库对应的模型 - 点击模型卡片上的下载按钮,LM Studio 会自动将 GGUF 文件下载到本地模型库
备选方式——通过 Git 获取仓库(注意:仓库是只读的,获取后请勿修改文件):
git clone https://gitcode.com/hf_mirrors/lmstudio-community/gemma-4-26B-A4B-it-QAT-GGUF
由于 .gguf 文件通过 Git LFS 存储,若 clone 后发现文件只有几百字节(LFS 指针文件),请安装 Git LFS 后执行:
git lfs pull
完成后,把 gemma-4-26B-A4B-it-QAT-Q4_0.gguf 复制到 LM Studio 的模型目录即可:
- macOS:
~/Library/Application Support/LM Studio/models - Windows:
%USERPROFILE%\.lmstudio\models - Linux:
~/.lmstudio/models
第 3 步:加载模型并打开聊天界面
- 在 LM Studio 左侧的 My Models(我的模型)中点击搜索图标,输入
gemma-4-26B,选中模型 - LM Studio 会显示推荐参数(上下文长度、温度等),新手直接点 Load(加载)即可
- 加载完成后点击底部 Chat 标签页,输入"你好,介绍一下你自己"——看到回复就说明成功了 🎉
第 4 步(可选):启用多模态看图能力
如果希望模型能理解图片,加载视觉投影文件:
- 同样把 mmproj-gemma-4-26B-A4B-it-QAT-BF16.gguf 放入 LM Studio 模型目录
- 在模型选择界面中,找到 mmproj 配置项,选择该文件
- 重新加载模型后,聊天框即可发送图片让模型识别
常见问题排查
Q:加载失败,提示内存/显存不足? 减小上下文长度(如从 8192 降到 4098 或 2048),或确认没有同时加载 mmproj 文件。
Q:生成速度太慢? 检查 LM Studio 状态栏是否显示 GPU 加速(如 CUDA / Metal / Vulkan);若回退到 CPU,说明 GPU 显存不足,可尝试降低上下文长度或仅加载主模型。
Q:下载速度慢或中断? LM Studio 的模型下载支持断点续传,重新点击下载即可继续。
Q:clone 下来的 gguf 文件只有几百字节?
这是 Git LFS 指针文件(可用 README.md 所在仓库确认文件名),安装 Git LFS 后执行 git lfs pull 拉取真实文件即可。
Q:可以商用吗? 本模型基于 Apache-2.0 协议分发,具体使用范围请以原始模型 gemma-4-26B-A4B-it-qat-q4_0-unquantized 的条款为准。
小结
| 场景 | 需要的文件 | 预计耗时 |
|---|---|---|
| 纯文本聊天 / 代码辅助 | 主模型(约 13.4 GB) | 10 分钟 |
| 图文多模态理解 | 主模型 + mmproj(约 24.6 GB) | 视网络情况 |
到这里,你已经掌握了在 LM Studio 中运行 gemma-4-26B-A4B-it-QAT-GGUF 的完整流程:QAT 量化保证低比特下的效果,MoE 架构保证 26B 大模型也能在消费级硬件上流畅对话。祝使用愉快!