gemma-4-12B-it-qat-GGUF 完整解读:QAT 量化的 Gemma 4 12B 本地LLM,4-bit 显存跑出近 BF16 品质
gemma-4-12B-it-qat-GGUF 完整解读:QAT 量化的 Gemma 4 12B 本地LLM,4-bit 显存跑出近 BF16 品质
一分钟了解:这个仓库是什么
gemma-4-12B-it-qat-GGUF 是 Unsloth 团队发布的 Gemma 4 12B 指令微调模型的 QAT(Quantization-Aware Training,量化感知训练)GGUF 版本。它用 4-bit 权重大幅压缩了模型体积,却能把质量保留到接近 BF16 原版的水平——这意味着你可以在消费级显卡(8GB 显存起步)上本地运行一个 12B 参数、256K 上下文、支持图文音多模态的前沿开源模型。
仓库由 Unsloth 制作,基于 Google DeepMind 的 Gemma 4 12B 官方 QAT 检查点转换而来,Apache 2.0 协议,可自由商用。详细说明见仓库内的 README.md。
💡 为什么值得关注:普通"训练后量化"(PTQ)在 4-bit 下往往掉点明显,而 QAT 模型在训练阶段就感知了量化误差,这是它能"小体积不缩水"的关键。
什么是 QAT 量化?为什么它比 PTQ 更省心
传统量化是在模型训练之后把 16-bit 权重压到 4-bit(即 PTQ),信息丢失不可挽回。而 QAT 的做法是:
- 训练时就模拟 4-bit 精度,让模型学会"在低精度下也能算得准";
- 训练完成后再导出半精度权重(Q4_0 基底),提取出真正的 4-bit 量化版本;
- 最终产物在 MMLU、代码生成等基准上与 BF16 原版差距很小,体积却只有约四分之一。
Google 官方为 Gemma 4 家族提供了四种 QAT 产物形态:未量化 QAT 检查点(Q4_0)、GGUF(本仓库)、移动端优化版(wNa8o8)、vLLM 压缩张量版(w4a16)。本仓库正是面向 llama.cpp 生态的 GGUF 形态。
仓库文件结构:5 类文件一图看懂
| 文件 | 作用 |
|---|---|
| gemma-4-12B-it-qat-UD-Q4_K_XL.gguf | ⭐ 主模型文件,Unsloth Dynamic 2.0 的 XL 级 4-bit 混合量化 |
| mmproj-BF16.gguf / mmproj-F16.gguf / mmproj-F32.gguf | 多模态视觉投影器(mmproj),三种精度供按需选择 |
| mtp-gemma-4-12B-it.gguf | MTP 推测解码 drafter(智能 Q4_0),放在仓库根目录可被自动发现 |
| MTP/ 目录 | 更高精度的 drafter:Q4_0、Q8_0、BF16、F16 四种,说明见 MTP/README.md |
| README.md | 完整模型卡:运行方式、基准测试、最佳实践 |
几点说明:
- 主模型是 UD-Q4_K_XL:Unsloth Dynamic 2.0 的量化策略会对不同层分配不同精度,XL 档位是"质量优先"的选择,12B 模型 4-bit 化后文件约 7GB,8GB 显存的显卡可以全量上卡,12GB 以上则更从容。
- mmproj 选哪个:日常使用选
mmproj-F16.gguf(体积与精度平衡),显存吃紧或追求极致可用 BF16,F32 一般没必要。 - MTP drafter:它是专门加速推理的"小模型",后文详细展开。
一键运行:llama.cpp 本地服务器最快启动方式
本仓库推荐直接用 llama.cpp 的 -hf 自动下载模式。由于仓库根目录自带 mtp- 前缀的 drafter 文件,新版 llama.cpp 会自动发现它,无需手动指定 draft 模型:
./build/bin/llama-server \
-hf unsloth/gemma-4-12B-it-qat-GGUF:UD-Q4_K_XL \
--spec-type draft-mtp --spec-draft-n-max 4 \
-ngl 999 -fa on
参数速览:
-hf:直接从 Hub 拉取指定量化档位的文件;--spec-type draft-mtp:启用 MTP 推测解码;--spec-draft-n-max 4:每步最多起草 4 个 token;-ngl 999:全部层卸载到 GPU;-fa on:开启 Flash Attention,长上下文更省显存。
如果还要开启视觉能力,追加 --mmproj mmproj-F16.gguf 即可。
⚠️ 版本要求:MTP 支持(arch 为 gemma4-assistant)是在 llama.cpp 中合并的,你需要 2026-06-07 之后构建的 llama.cpp。旧版无法加载这些 drafter 文件。编译参考:
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=90
cmake --build build --config Release -j --target llama-server
(CMAKE_CUDA_ARCHITECTURES 按你的 GPU 设置:RTX 4090 用 89,H100 用 90,B200 用 100。)
如果你的构建版本较老、不能自动发现 drafter,可以用显式方式指定本地文件:
./build/bin/llama-server \
-m gemma-4-12B-it-qat-UD-Q4_K_XL.gguf \
--model-draft MTP/mtp-gemma-4-12B-it-Q8_0.gguf \
--spec-type draft-mtp --spec-draft-n-max 4 \
-ngl 999 -fa on
MTP 推测解码:输出不变,速度更快
MTP(Multi-Token Prediction)是本仓库的一大亮点。原理简单说就是"大小模型配合":
- drafter 小模型先行起草若干 token(共享主模型的 KV cache,不额外占多少显存);
- 主模型(target)逐个验证,验证通过的直接采纳,不通过的丢弃。
因为最终输出由主模型验证,结果与不用 MTP 完全一致,只是吞吐更快。官方在单卡 B200 上用 UD-Q4_K_XL 主模型实测,draft acceptance 达 0.51。
关于 drafter 选哪个精度:
- 推荐根目录的智能 Q4_0 版(约 97% 权重精确落在 int4 网格上,近乎无损且体积减半);
- 想要更稳的接受率,可从 MTP/ 目录换用 Q8_0 或 BF16 版,drafter 与任意精度的 12B QAT 主模型都能配对,量化 KV cache 也支持;
- 多 GPU 场景可加
--spec-draft-device CUDA0 -sm layer让 drafter 单独占一张卡。
更多细节见 MTP/README.md。
Gemma 4 12B 模型亮点:12B 身板,旗舰级能力
Gemma 4 12B(官方称 "12B Unified")是这一家族里定位消费级 GPU 的型号:
- 11.95B 参数、48 层、1024 token 滑窗 + 全局注意力混合架构;
- 256K 上下文窗口,支持 140+ 语言;
- Encoder-free 统一架构:没有独立的视觉/音频编码器,图像 patch 和音频波形直接通过轻量线性层注入 LLM 嵌入空间,多模态延迟更低;
- 原生多模态:文本、图像(可变宽高比与分辨率)、音频输入,文本输出,音频最长 30 秒、视频按 1 帧/秒最长 60 秒;
- Thinking 思考模式:内置推理模式,可逐步思考后再作答;
- 基准表现(指令微调版):MMLU Pro 77.2%、LiveCodeBench v6 72.0%、GPQA Diamond 78.8%、Codeforces ELO 1659,接近 31B 旗舰水准。
最佳实践:采样参数与使用技巧
官方推荐的采样配置(适用于所有场景):
temperature=1.0
top_p=0.95
top_k=64
其他实用技巧:
- 开启思考:在 system prompt 开头加入
<|think|>token 即可触发思考模式,去掉该 token 则关闭(llama.cpp、Transformers 等库已处理好模板细节); - 多轮对话:历史中只保留最终回答,不要把上一轮的思考过程塞回上下文;
- 多模态顺序:图像内容放在文本之前,音频内容放在文本之后;
- 图像 token 预算:可选 70 / 140 / 280 / 560 / 1120,分类、看图说话用低档更快,OCR 和文档解析用高档更准;
- 原生 system 角色:Gemma 4 原生支持
system角色,便于做结构化可控的对话。
常见问题 FAQ
Q:需要多少显存?
A:主模型为 4-bit 混合量化,文件约 7GB。8GB 显存显卡配合 -ngl 999 -fa on 可运行;上下文较长或开视觉时建议 12GB 以上更宽裕。
Q:MTP 会不会改变输出内容? A:不会。drafter 只负责"打草稿",每个 token 都经主模型验证,结果与纯主模型推理一致。
Q:旧版 llama.cpp 报错加载不了 MTP 文件?
A:升级到 2026-06-07 之后构建的版本即可,旧版不识别 gemma4-assistant 架构。
Q:能做微调或二次开发吗? A:可以。本仓库的 QAT 检查点源于 Q4_0 半精度提取版,适合做自定义下游编译与研究;Unsloth 也支持对 Gemma 4 系列进行微调。
总结
gemma-4-12B-it-qat-GGUF 把三件大事打包完成:QAT 4-bit 量化让 12B 模型在 8GB 显存上跑出近 BF16 品质,mmproj 多模态文件补齐视觉理解能力,MTP 推测解码再给本地推理提速——而且 -hf 一条命令全部自动搞定。如果你想在自己电脑上跑一个"旗舰级"开源多模态模型,这是目前 12B 档位非常值得优先尝试的方案。
相关参考资料:README.md(完整模型卡)、MTP/README.md(MTP 加速指南)。