4-bit体积跑出BF16级质量:gemma-4-26B-A4B-it-qat-GGUF 完全概览
4-bit体积跑出BF16级质量:gemma-4-26B-A4B-it-qat-GGUF 完全概览
gemma-4-26B-A4B-it-qat-GGUF 是 Google Gemma 4 大模型家族中 26B-A4B 变体的 QAT(量化感知训练)GGUF 格式版本,由 Unsloth 团队发布。它的核心卖点一句话就能说清:用 4-bit 的极小体积,跑出接近 BF16 全精度模型的质量——显存占用大幅下降,却几乎不牺牲推理效果。本文带你完整了解它的架构亮点、文件结构与 MTP 投机解码加速玩法。
🧠 为什么 QAT 能让 4-bit 模型"不缩水"?
普通量化模型是先训练好高精度权重、再"硬压"到 4-bit,这个过程不可避免地损失精度。而 QAT(Quantization-Aware Training,量化感知训练)在训练阶段就模拟量化误差,让模型从一开始就"适应"4-bit 的表示方式。
官方说明中明确写道:该模型卡针对采用 QAT 优化的 Gemma 4 新版本,"在大幅降低加载模型所需内存的同时,保持与 bfloat16 相近的质量"。
💡 对普通用户的意义:你不需要一张顶级显卡,就能在本地跑上旗舰级多模态大模型,且回答质量基本不打折。
⚡ 26B-A4B MoE 架构:小身板的快枪手
"26B-A4B" 的含义是:总参数 25.2B,但每次推理只激活约 3.8B 参数(MoE,混合专家架构)。
| 属性 | 数值 |
|---|---|
| 总参数 | 25.2B |
| 激活参数 | 3.8B |
| 层数 | 30 |
| 上下文长度 | 256K tokens |
| 词表大小 | 262K |
| 专家数量 | 128 个(每次激活 8 个)+ 1 个共享专家 |
| 滑动窗口 | 1024 tokens |
| 支持模态 | 文本、图像 |
| 视觉编码器 | 约 550M 参数 |
它采用混合注意力机制:局部滑动窗口注意力与全局注意力交错分布(可从 config.json 中的 layer_types 看到每 5 层出现一次 full_attention),兼顾长文本处理速度与全局感知能力,全局层还应用了 p-RoPE 进一步节省长上下文内存。
简单说:它有 26B 模型的"脑子",却以接近 4B 小模型的"速度"运行 🚀
📊 关键基准成绩一览
| 基准 | Gemma 4 26B A4B | Gemma 3 27B(对比) |
|---|---|---|
| MMLU Pro | 82.6% | 67.6% |
| LiveCodeBench v6 | 77.1% | 29.1% |
| GPQA Diamond | 82.3% | 42.4% |
| MMMU Pro(视觉) | 73.8% | 49.7% |
| MRCR v2 128K 长上下文 | 44.1% | 13.5% |
在推理、编码、多语言、视觉理解等维度上大幅超越上一代 Gemma 3,并原生支持思考模式(thinking)、函数调用、system 角色、140+ 语言。
📁 仓库文件结构详解
| 文件 | 说明 |
|---|---|
| gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf | 主模型,Unsloth Dynamic 2.0 的 UD-Q4_K_XL 量化,开箱即用 |
| mmproj-F16.gguf / mmproj-BF16.gguf / mmproj-F32.gguf | 多模态视觉投影文件(三种精度可选),用于图像理解 |
| mtp-gemma-4-26B-A4B-it.gguf | MTP 推测解码草稿模型(smart Q4_0),放在仓库根目录以便 llama.cpp 自动发现 |
| MTP/ | 存放 MTP 草稿模型其他精度版本的子目录 |
| config.json | 模型架构配置,包含 MoE、混合注意力、视觉编码器参数 |
| README.md | 完整的模型说明与运行指南 |
MTP/ 子目录中包含以下草稿模型精度可选(详见 MTP/README.md):
- MTP/mtp-gemma-4-26B-A4B-it-Q4_0.gguf —— 与根目录相同的 smart Q4_0(推荐)
- MTP/mtp-gemma-4-26B-A4B-it-Q8_0.gguf
- MTP/mtp-gemma-4-26B-A4B-it-BF16.gguf
- MTP/mtp-gemma-4-26B-A4B-it-F16.gguf
🚀 MTP 投机解码:让生成速度再提一档
本仓库自带 MTP(Multi-Token Prediction,多令牌预测)草稿模型。它的原理是:草稿模型先快速"猜"出接下来的几个 token,主模型一次性批量验证——猜对了就直接采用,输出内容完全不变,但生成速度显著提升。
推荐使用的 smart Q4_0 草稿模型约 97% 的权重与 int4 网格逐字节精确对齐,接近无损且体积只有高精度版本的一半。它在单卡 B200 上测得草稿接受率 0.73,加速效果明显。
一键运行(自动发现草稿模型)
新版 llama.cpp 会自动从根目录发现 mtp- 前缀文件,无需手动指定:
./build/bin/llama-server \
-hf unsloth/gemma-4-26B-A4B-it-qat-GGUF:UD-Q4_K_XL \
--spec-type draft-mtp --spec-draft-n-max 4 \
-ngl 999 -fa on
显式指定草稿模型(老版本构建)
如果你的 llama.cpp 构建于 2026-06-07 之前(MTP 合入前),需要用显式方式:
./build/bin/llama-server \
-m gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf \
--model-draft MTP/mtp-gemma-4-26B-A4B-it-Q8_0.gguf \
--spec-type draft-mtp --spec-draft-n-max 4 \
-ngl 999 -fa on
多 GPU 场景可追加 --spec-draft-device CUDA0 -sm layer;KV cache 量化也完全支持。
🎯 最佳实践:采样参数与使用建议
官方推荐的标准采样配置:
temperature=1.0top_p=0.95top_k=64
其他实用技巧(摘自 README.md):
- 启用思考模式:在 system 提示开头加入
<|think|>token,模型会先输出内部推理再给出最终答案;删除该 token 即可关闭 - 多轮对话:历史轮次中只保留最终回复,不要把上一轮的思考内容带进对话
- 图像输入:图片内容放在提示文本之前效果最佳;支持 70/140/280/560/1120 五档视觉 token 预算——分类、描述任务用低档更快,OCR、文档解析任务用高档更准
- 长上下文:支持 256K tokens,适合处理超长文档
✅ 总结
| 维度 | 评价 |
|---|---|
| 体积 | 4-bit GGUF,低显存设备可跑 25.2B 大模型 |
| 质量 | QAT 量化,接近 BF16 精度 |
| 速度 | MoE 只激活 3.8B 参数 + MTP 投机解码双重加速 |
| 多模态 | 支持文本 + 图像理解,256K 长上下文 |
| 生态 | GGUF 格式,llama.cpp 等主流工具直接兼容 |
gemma-4-26B-A4B-it-qat-GGUF 证明了"小体积"与"高质量"可以兼得:QAT 保住了精度,MoE 架构保住了速度,MTP 草稿模型又在此基础上锦上添花。如果你想在本地部署一个既能读图、又会写代码、还能长文推理的全能助手,这个仓库值得收藏 ⭐