4-bit体积跑出BF16级质量:gemma-4-26B-A4B-it-qat-GGUF 完全概览

原创2026-10-19 10:03:251,924 阅读

4-bit体积跑出BF16级质量:gemma-4-26B-A4B-it-qat-GGUF 完全概览

gemma-4-26B-A4B-it-qat-GGUF 是 Google Gemma 4 大模型家族中 26B-A4B 变体的 QAT(量化感知训练)GGUF 格式版本,由 Unsloth 团队发布。它的核心卖点一句话就能说清:用 4-bit 的极小体积,跑出接近 BF16 全精度模型的质量——显存占用大幅下降,却几乎不牺牲推理效果。本文带你完整了解它的架构亮点、文件结构与 MTP 投机解码加速玩法。

🧠 为什么 QAT 能让 4-bit 模型"不缩水"?

普通量化模型是先训练好高精度权重、再"硬压"到 4-bit,这个过程不可避免地损失精度。而 QAT(Quantization-Aware Training,量化感知训练)在训练阶段就模拟量化误差,让模型从一开始就"适应"4-bit 的表示方式。

官方说明中明确写道:该模型卡针对采用 QAT 优化的 Gemma 4 新版本,"在大幅降低加载模型所需内存的同时,保持与 bfloat16 相近的质量"。

💡 对普通用户的意义:你不需要一张顶级显卡,就能在本地跑上旗舰级多模态大模型,且回答质量基本不打折。

⚡ 26B-A4B MoE 架构:小身板的快枪手

"26B-A4B" 的含义是:总参数 25.2B,但每次推理只激活约 3.8B 参数(MoE,混合专家架构)。

属性 数值
总参数 25.2B
激活参数 3.8B
层数 30
上下文长度 256K tokens
词表大小 262K
专家数量 128 个(每次激活 8 个)+ 1 个共享专家
滑动窗口 1024 tokens
支持模态 文本、图像
视觉编码器 约 550M 参数

它采用混合注意力机制:局部滑动窗口注意力与全局注意力交错分布(可从 config.json 中的 layer_types 看到每 5 层出现一次 full_attention),兼顾长文本处理速度与全局感知能力,全局层还应用了 p-RoPE 进一步节省长上下文内存。

简单说:它有 26B 模型的"脑子",却以接近 4B 小模型的"速度"运行 🚀

📊 关键基准成绩一览

基准 Gemma 4 26B A4B Gemma 3 27B(对比)
MMLU Pro 82.6% 67.6%
LiveCodeBench v6 77.1% 29.1%
GPQA Diamond 82.3% 42.4%
MMMU Pro(视觉) 73.8% 49.7%
MRCR v2 128K 长上下文 44.1% 13.5%

在推理、编码、多语言、视觉理解等维度上大幅超越上一代 Gemma 3,并原生支持思考模式(thinking)、函数调用、system 角色、140+ 语言。

📁 仓库文件结构详解

文件 说明
gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 主模型,Unsloth Dynamic 2.0 的 UD-Q4_K_XL 量化,开箱即用
mmproj-F16.gguf / mmproj-BF16.gguf / mmproj-F32.gguf 多模态视觉投影文件(三种精度可选),用于图像理解
mtp-gemma-4-26B-A4B-it.gguf MTP 推测解码草稿模型(smart Q4_0),放在仓库根目录以便 llama.cpp 自动发现
MTP/ 存放 MTP 草稿模型其他精度版本的子目录
config.json 模型架构配置,包含 MoE、混合注意力、视觉编码器参数
README.md 完整的模型说明与运行指南

MTP/ 子目录中包含以下草稿模型精度可选(详见 MTP/README.md):

🚀 MTP 投机解码:让生成速度再提一档

本仓库自带 MTP(Multi-Token Prediction,多令牌预测)草稿模型。它的原理是:草稿模型先快速"猜"出接下来的几个 token,主模型一次性批量验证——猜对了就直接采用,输出内容完全不变,但生成速度显著提升。

推荐使用的 smart Q4_0 草稿模型约 97% 的权重与 int4 网格逐字节精确对齐,接近无损且体积只有高精度版本的一半。它在单卡 B200 上测得草稿接受率 0.73,加速效果明显。

一键运行(自动发现草稿模型)

新版 llama.cpp 会自动从根目录发现 mtp- 前缀文件,无需手动指定:

./build/bin/llama-server \
  -hf unsloth/gemma-4-26B-A4B-it-qat-GGUF:UD-Q4_K_XL \
  --spec-type draft-mtp --spec-draft-n-max 4 \
  -ngl 999 -fa on

显式指定草稿模型(老版本构建)

如果你的 llama.cpp 构建于 2026-06-07 之前(MTP 合入前),需要用显式方式:

./build/bin/llama-server \
  -m gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf \
  --model-draft MTP/mtp-gemma-4-26B-A4B-it-Q8_0.gguf \
  --spec-type draft-mtp --spec-draft-n-max 4 \
  -ngl 999 -fa on

多 GPU 场景可追加 --spec-draft-device CUDA0 -sm layer;KV cache 量化也完全支持。

🎯 最佳实践:采样参数与使用建议

官方推荐的标准采样配置:

  • temperature=1.0
  • top_p=0.95
  • top_k=64

其他实用技巧(摘自 README.md):

  1. 启用思考模式:在 system 提示开头加入 <|think|> token,模型会先输出内部推理再给出最终答案;删除该 token 即可关闭
  2. 多轮对话:历史轮次中只保留最终回复,不要把上一轮的思考内容带进对话
  3. 图像输入:图片内容放在提示文本之前效果最佳;支持 70/140/280/560/1120 五档视觉 token 预算——分类、描述任务用低档更快,OCR、文档解析任务用高档更准
  4. 长上下文:支持 256K tokens,适合处理超长文档

✅ 总结

维度 评价
体积 4-bit GGUF,低显存设备可跑 25.2B 大模型
质量 QAT 量化,接近 BF16 精度
速度 MoE 只激活 3.8B 参数 + MTP 投机解码双重加速
多模态 支持文本 + 图像理解,256K 长上下文
生态 GGUF 格式,llama.cpp 等主流工具直接兼容

gemma-4-26B-A4B-it-qat-GGUF 证明了"小体积"与"高质量"可以兼得:QAT 保住了精度,MoE 架构保住了速度,MTP 草稿模型又在此基础上锦上添花。如果你想在本地部署一个既能读图、又会写代码、还能长文推理的全能助手,这个仓库值得收藏 ⭐

登录后查看全文
gemma-4-26B-A4B-it-qat-GGUF