Gemma 4家族怎么选?gemma-4-E4B-it-qat-q4_0-gguf与E2B、12B、31B五大尺寸横向对比指南
Gemma 4家族怎么选?gemma-4-E4B-it-qat-q4_0-gguf与E2B、12B、31B五大尺寸横向对比指南
本文带你快速看懂 gemma-4-E4B-it-qat-q4_0-gguf 这个量化模型,并把 Gemma 4 家族的 E2B、E4B、12B、26B A4B、31B 五大尺寸放在一张表里横向对比:参数规模、上下文长度、多模态能力、跑分成绩、内存占用一次讲清,帮你在手机、笔记本、显卡服务器之间做出最合适的选型。
一句话认识 Gemma 4 家族
Gemma 4 是 Google DeepMind 推出的开源多模态模型家族,采用 Dense + MoE 混合架构,支持文本、图像输入(部分型号还支持音频),上下文窗口最高 256K tokens,覆盖 140+ 种语言。
本仓库提供的是其中 E4B 型号的 QAT 量化 GGUF 版本,核心信息如下:
| 项目 | 说明 |
|---|---|
| 量化方式 | QAT(Quantization-Aware Training,量化感知训练) |
| 量化精度 | Q4_0 |
| 模型文件 | gemma-4-E4B_q4_0-it.gguf(约 4.8 GB) |
| 多模态投影 | gemma-4-E4B-it-mmproj.gguf(约 945.6 MB,视觉投影文件) |
| 许可证 | Apache 2.0 |
💡 QAT 意味着什么? 与"先训练后量化"不同,QAT 在训练阶段就引入量化误差,因此 Q4_0 量化后的质量可以接近原始 bfloat16 模型,而显存/内存占用却大幅降低——这是本仓库最大的卖点。
详细的模型卡说明可参考:README.md
五大尺寸硬核参数对比
下表汇总了 Gemma 4 全家族五大尺寸的关键规格(数据来自官方 README.md):
| 属性 | E2B | E4B(本仓库) | 12B Unified | 26B A4B (MoE) | 31B Dense |
|---|---|---|---|---|---|
| 参数规模 | 有效 2.3B(含嵌入 5.1B) | 有效 4.5B(含嵌入 8B) | 11.95B | 总 25.2B / 激活 3.8B | 30.7B |
| 层数 | 35 | 42 | 48 | 30 | 60 |
| 上下文窗口 | 128K | 128K | 256K | 256K | 256K |
| 支持模态 | 文本+图像+音频 | 文本+图像+音频 | 文本+图像+音频 | 文本+图像 | 文本+图像 |
| 滑动窗口 | 512 tokens | 512 tokens | 1024 tokens | 1024 tokens | 1024 tokens |
| 词表大小 | 262K | 262K | 262K | 262K | 262K |
| 目标场景 | 手机/边缘设备 | 手机/笔记本 | 消费级显卡 | 消费级显卡(快) | 工作站/服务器 |
三个容易混淆的概念,一次讲透
- "E" = Effective(有效参数):E2B/E4B 采用逐层嵌入(PLE)技术,嵌入表很大但只做快速查表,实际参与计算的有效参数远小于总参数,所以 E4B 在笔记本上跑得比"看起来的 8B"轻快得多。
- "A4B" = Active 4B(激活参数):26B A4B 是 MoE 模型,总共 25.2B 参数,但每次推理只激活 3.8B——拥有接近 30B 的知识量,速度却接近 4B 模型。
- "12B Unified" = 无编码器架构:其他型号用独立编码器处理图像/音频,12B 直接通过轻量线性层把原始图像块/音频波形投影进 LLM 嵌入空间,多模态延迟更低,还能整体微调。
跑分实测:谁强谁弱一目了然
官方基准测试成绩(指令微调版模型):
| 基准 | 31B | 26B A4B | 12B Unified | E4B | E2B | Gemma 3 27B |
|---|---|---|---|---|---|---|
| MMLU Pro(综合能力) | 85.2% | 82.6% | 77.2% | 69.4% | 60.0% | 67.6% |
| AIME 2026(数学推理) | 89.2% | 88.3% | 77.5% | 42.5% | 37.5% | 20.8% |
| LiveCodeBench v6(编码) | 80.0% | 77.1% | 72.0% | 52.0% | 44.0% | 29.1% |
| GPQA Diamond(科研问答) | 84.3% | 82.3% | 78.8% | 58.6% | 43.4% | 42.4% |
| Tau2(智能体/工具调用) | 76.9% | 68.2% | 69.0% | 42.2% | 24.5% | 16.2% |
| MMMU Pro(视觉理解) | 76.9% | 73.8% | 69.1% | 52.6% | 44.2% | 49.7% |
| MRCR v2 8针 128k(长上下文) | 66.4% | 44.1% | 43.4% | 25.4% | 19.1% | 13.5% |
📌 几个值得注意的结论:
- E4B 全面超过上一代旗舰 Gemma 3 27B(除 MMMU Pro 外),说明"小而精"的路线已经成立。
- 26B A4B 与 31B 仅差 2~3 分,但推理速度快得多,性价比之王。
- 小模型(E2B/E4B)在长上下文检索上明显吃亏,长文档任务请优先考虑 12B 以上。
按你的硬件选:5 条速查建议
| 你的设备/需求 | 推荐型号 | 理由 |
|---|---|---|
| 高端手机、嵌入式设备 | E2B | 参数最轻,原生支持音频输入 |
| 笔记本 / 16GB 内存主机 / 本地日常助手 | E4B(本仓库) | QAT Q4_0 文件仅约 4.8 GB,内存友好,还支持图像+音频 |
| 8~12GB 显存的消费级显卡 | 12B Unified | 256K 上下文 + 音频支持,能力/速度平衡 |
| 追求"大模型知识量 + 小模型速度" | 26B A4B | 激活仅 3.8B,MoE 架构推理飞快 |
| 工作站 / 服务器,追求极限能力 | 31B Dense | 全家族跑分天花板,256K 上下文 |
⚠️ 注意:音频能力只属于 E2B、E4B、12B;31B 和 26B A4B 不支持音频输入。如果你要做语音转写或音频翻译,选型范围会直接缩小到这三个。
本地跑 E4B Q4_0 GGUF 需要什么?
这个仓库是"开箱即用"的 GGUF 格式,配合 llama.cpp / Ollama / LM Studio 等生态工具即可部署:
- 模型主文件 gemma-4-E4B_q4_0-it.gguf:约 4.8 GB,纯文本推理只需 8GB 内存即可轻松加载(留足 KV Cache 建议 16GB)。
- 视觉投影文件 gemma-4-E4B-it-mmproj.gguf:约 945.6 MB,只有需要图像理解时才需一并加载。
- 两个文件在仓库中通过 Git LFS 管理,clone 后按工具提示拉取 LFS 内容即可,无需额外转换。
官方推荐的采样参数(对所有 Gemma 4 型号通用):temperature=1.0、top_p=0.95、top_k=64;开启思考模式时在 system prompt 中加入 <|think|> 令牌即可,多数推理框架会自动处理这些细节。
总结:三句话选对型号
- 设备是手机/轻薄本 → 选 E2B 或 E4B(本仓库的 QAT Q4_0 版本),量化后内存占用极低,质量却几乎不缩水。
- 有一块独立显卡 → 选 12B 或 26B A4B,前者胜在通用均衡,后者胜在"大知识量+小模型速度"。
- 服务器/工作站不差显存 → 直接上 31B,全家族能力天花板,256K 长上下文任你发挥。
所有技术细节、多模态调用示例、最佳实践(如图像放文本前、音频放文本后的模态排序规则)都在 README.md 中完整收录,建议收藏备查。🚀