性能到底有多强?gemma-4-31B-it-qat-GGUF基准测试深度解读:AIME 89.2%与Codeforces 2150 ELO
性能到底有多强?gemma-4-31B-it-qat-GGUF基准测试深度解读:AIME 89.2%与Codeforces 2150 ELO
gemma-4-31B-it-qat-GGUF 是 Google DeepMind 旗舰开源模型 Gemma 4 31B 的 QAT 量化 GGUF 版本,由 Unsloth 提供。它用 4-bit 量化权重就能保持接近 16-bit 的推理质量,在数学竞赛基准 AIME 2026 上拿到 89.2%、编程基准 Codeforces 上刷出 2150 ELO——接近人类专家选手水平。本文带你完整解读这组基准数据、模型架构亮点与 MTP 加速玩法,帮你判断它是否值得部署。
什么是 QAT?为什么这个 4-bit 模型"不降智"
💡 QAT(Quantization-Aware Training,量化感知训练) 是本项目最大的看点。
传统做法是先训练出 16-bit 模型,再"硬压"成 4-bit(PTQ),往往损失明显。而 QAT 在训练阶段就模拟低精度环境,让模型"天生"适应 4-bit 表示。效果就是官方模型卡里说的这句话:
保持与 bfloat16 相近的质量,同时大幅降低加载模型所需的内存。
也就是说,你只需要约 4-bit 的显存开销,就能跑一个"几乎满血"的 31B 多模态模型。仓库主模型文件为 gemma-4-31B-it-qat-UD-Q4_K_XL.gguf,采用 Unsloth Dynamic 的 UD-Q4_K_XL 精度档位,兼顾体积与还原度。
gemma-4-31B-it-qat-GGUF 基准测试完整解读
以下数据来自官方模型卡 README.md 的 Benchmark Results 章节:
| 基准 | Gemma 4 31B | 含义 |
|---|---|---|
| AIME 2026(无工具) | 89.2% | 数学竞赛难题解题率 |
| Codeforces ELO | 2150 | 编程竞赛排名分 |
| LiveCodeBench v6 | 80.0% | 实时算法编程题 |
| MMLU Pro | 85.2% | 多学科知识理解 |
| GPQA Diamond | 84.3% | 研究生级科学问答 |
| Tau2(3 轮平均) | 76.9% | Agent 工具调用能力 |
| BigBench Extra Hard | 74.4% | 超难推理题 |
| MMMLU(多语言) | 88.4% | 跨语言知识广度 |
| MATH-Vision(视觉) | 85.6% | 数学图表视觉理解 |
| MMMU Pro(视觉) | 76.9% | 多模态大学级考题 |
| MRCR v2 8-needle 128k | 66.4% | 长上下文信息检索 |
数学推理:AIME 2026 拿下 89.2% 是什么概念
📐 AIME(美国数学邀请赛) 是面向顶尖中学生的数学竞赛,题目难度远高于日常"应用题",是衡量大模型深度推理的"照妖镜"。
- 89.2% 意味着模型在不使用任何计算器/工具的情况下,正确解出了约九成竞赛级难题
- 作为参照:上一代 Gemma 3 27B 在同一测试中仅 20.8%,提升超过 4 倍
- 同族的 26B A4B(MoE 架构)也能达到 88.3%,说明 31B Dense 版本在数学上是整个家族的天花板
编程能力:Codeforces 2150 ELO 意味着什么
🚀 Codeforces 是全球知名的算法竞赛平台,ELO 分用于衡量选手水平:
- 2150 ELO 大致对应专家级(Expert)选手区间,高于绝大多数注册玩家
- 对比之下,Gemma 3 27B 只有 110 ELO(入门以下),Gemma 4 12B 为 1659
- 配合 LiveCodeBench v6 的 80.0% 通过率,说明它不仅能"做竞赛题",也能稳定解决新出现的真实编程任务
Agent 与长上下文表现
- Tau2 76.9%:在需要多轮工具调用的 Agent 场景中表现突出,远超上一代的 16.2%
- HLE 无工具 19.5% / 带搜索 26.5%:在"人类终极考试"这类极难任务上,搜索能带来约 7 个百分点的提升,说明它适合配合检索/搜索工具使用
- MRCR v2 128k 66.4%:在 128K 长上下文中埋针检索,同场测试的 Gemma 3 27B 只有 13.5%
与 Gemma 3 27B 对比:跨越式的代际提升
| 基准 | Gemma 4 31B | Gemma 3 27B(关闭思考) | 提升倍数 |
|---|---|---|---|
| AIME 2026 | 89.2% | 20.8% | ~4.3x |
| Codeforces ELO | 2150 | 110 | ~19.5x |
| LiveCodeBench v6 | 80.0% | 29.1% | ~2.7x |
| GPQA Diamond | 84.3% | 42.4% | ~2.0x |
| MMLU Pro | 85.2% | 67.6% | ~1.3x |
| MMMU Pro(视觉) | 76.9% | 49.7% | ~1.5x |
可以看到,Gemma 4 31B 在所有维度都全面领先,其中编程能力的提升最为惊人——从"几乎不可用"直接跃升到"人类专家级"。
架构规格:256K 上下文与混合注意力
从 config.json 可以看到这个模型的"骨架":
- 60 层 Dense 架构,隐藏层宽度 5376,总参数量约 30.7B
- 256K 上下文(
max_position_embeddings: 262144),可处理超长文档 - 混合注意力:每 6 层中 5 层滑动窗口注意力 + 1 层全局注意力,兼顾速度与全局感知
- p-RoPE(比例旋转位置编码) + 全局层统一 K/V,为长上下文优化显存
- 262K 词表、支持文本 + 图像输入(视觉编码器约 550M 参数)
- 原生支持
system角色与可配置的"思考模式"(thinking mode)
这些设计让它在消费级 GPU 上既能跑得快,又能记住足够长的对话与文档。
MTP 投机解码:推理还能再提速
⚡ 仓库内置了 MTP(Multi-Token Prediction)草稿模型,通过投机解码(speculative decoding)加速生成,且不改变最终输出(目标模型会逐一验证草稿 token)。
- 根目录的 mtp-gemma-4-31B-it.gguf 是"智能 Q4_0"精度的推荐草稿器,新版 llama.cpp 用
-hf拉取时可自动发现,无需额外参数 - MTP/ 目录下还提供同款的
Q4_0、Q8_0、BF16、F16多种精度,详见 MTP/README.md - 官方在单张 B200 上验证了 0.79 的草稿接受率,意味着近八成草稿 token 可直接采纳,生成速度显著提升
核心启动方式(llama.cpp):
./build/bin/llama-server \
-hf unsloth/gemma-4-31B-it-qat-GGUF:UD-Q4_K_XL \
--spec-type draft-mtp --spec-draft-n-max 4 \
-ngl 999 -fa on
仓库文件清单与上手路径
| 文件 | 说明 |
|---|---|
| gemma-4-31B-it-qat-UD-Q4_K_XL.gguf | 主模型,4-bit QAT GGUF |
| mmproj-BF16.gguf / mmproj-F16.gguf / mmproj-F32.gguf | 视觉投影模块(多精度可选) |
| mtp-gemma-4-31B-it.gguf | MTP 草稿模型(推荐 Q4_0) |
| MTP/ | 其他精度的草稿模型 |
| config.json | 模型架构配置 |
| README.md | 官方模型卡:基准、最佳实践、采样参数 |
📌 最佳采样参数(官方推荐):temperature=1.0、top_p=0.95、top_k=64;开启思考模式时,在 system prompt 开头加入 <|think|> 即可。
总结:谁适合用 gemma-4-31B-it-qat-GGUF?
- ✅ 数学/竞赛题、算法编程场景:89.2% AIME 与 2150 ELO 是开源 31B 级模型的顶级水平
- ✅ 显存有限但想要旗舰质量的部署:QAT 让 4-bit 体积跑出质接近 16-bit 的效果
- ✅ Agent 工作流:Tau2 76.9% + 原生函数调用,适合构建自主智能体
- ✅ 长文档处理:256K 上下文 + 混合注意力,吃下整本技术手册也从容
一句话评价:它证明了"小体积 ≠ 低智商"——QAT + GGUF 的组合,让你在一台工作站上就能用上竞赛级的开源大脑。