0.8B 模型能有多强?Qwen3.5-0.8B-MTP-GGUF 基准测试全解读:推理、多语言与视觉实测
0.8B 模型能有多强?Qwen3.5-0.8B-MTP-GGUF 基准测试全解读:推理、多语言与视觉实测
Qwen3.5-0.8B-MTP-GGUF 是由 Unsloth 提供的 0.8B 超小多模态模型 GGUF 量化版本,内置 MTP(Multi-Token Prediction,多令牌预测)权重,可在 llama.cpp 中开启投机解码,让生成速度提升约 1.5~2 倍。它原生支持 262,144 token 上下文、201 种语言,并附带视觉投影器(mmproj),是一张普通 CPU/小显存显卡就能跑起来的"迷你全能卡"。
本文将逐张拆解官方基准测试数据,帮你在部署前就心里有数。
📦 仓库里都有什么?
整个仓库结构非常清爽,三类文件:
| 类型 | 文件示例 | 说明 |
|---|---|---|
| 主模型量化 | Qwen3.5-0.8B-UD-Q4_K_XL.gguf、Qwen3.5-0.8B-BF16.gguf | 20 种精度,从 Q8_0 到 UD-Q2_K_XL 全覆盖 |
| 视觉投影器 | mmproj-F16.gguf、mmproj-F32.gguf | 图片/视频理解需要,配合 --mmproj 参数加载 |
| 量化参考数据 | imatrix_unsloth.gguf_file | imatrix 信息矩阵文件,用于智能量化校准 |
量化档位一次给齐:经典系列(Q4_0、Q4_K_M、Q5_K_S、Q6_K、Q8_0 等)加上 Unsloth 自家的 UD 动态量化系列(UD-IQ2_M、UD-Q2_K_XL、UD-Q4_K_XL……)。按官方说明,Unsloth Dynamic 2.0 在相同体积下精度表现优于其他主流量化方案。
🧠 架构速览:0.8B 为什么能又快又省?
先看 README.md 中的模型规格:
- 参数量:0.8B,隐藏维度 1024,共 24 层
- 混合架构:Gated DeltaNet(线性注意力)+ Gated Attention 组合,布局为
6 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)),线性注意力占比高,长上下文推理开销显著低于传统全注意力结构 - 上下文长度:原生 262,144 token
- MTP 模块:训练时即按多步方式引入,正是这份 GGUF 能开投机解码的底气
- 多模态:带视觉编码器的统一视觉-语言模型,支持图片、视频输入
📊 语言基准实测:推理能力几何?
以下数据来自 README.md 官方 Benchmark Results 部分,对比对象为 Qwen3-4B-2507(上一代 4B)与 Qwen3.5-2B(同代更大一号的兄弟)。
非思考模式(Non-Thinking):
| 基准 | Qwen3-4B-2507 | Qwen3.5-2B | Qwen3.5-0.8B |
|---|---|---|---|
| MMLU-Pro | 69.6 | 55.3 | 29.7 |
| MMLU-Redux | 84.2 | 69.2 | 48.5 |
| C-Eval(中文) | 80.2 | 65.2 | 46.4 |
| SuperGPQA | 42.8 | 30.4 | 16.9 |
| IFEval(指令遵循) | 83.4 | 61.2 | 52.1 |
思考模式(Thinking)下的知识/STEM 类基准:
| 基准 | Qwen3-4B-2507 | Qwen3.5-2B | Qwen3.5-0.8B |
|---|---|---|---|
| MMLU-Pro | 74.0 | 66.5 | 42.3 |
| MMLU-Redux | 86.1 | 79.6 | 59.5 |
| C-Eval | 82.2 | 73.2 | 50.5 |
| LongBench v2(长文本) | 42.8 | 38.7 | 26.1 |
解读要点:
- 📈 思考模式收益巨大:开启思考后,MMLU-Pro 从 29.7 提升到 42.3,MMLU-Redux 从 48.5 提升到 59.5,涨幅普遍在 10 分以上,说明"多想一下"对这种小模型尤其关键
- ⚠️ 客观差距仍在:与 2B 仍有明显距离,更不用说 4B;GPQA(博士级科学问答)只有 11.9,硬核科研题不是它的舞台
- ✅ 定位清晰:官方明确其适用场景为原型验证、任务定制微调(可用 Unsloth 本地微调)与研发实验,而不是直接替代大模型
🌍 多语言测试:最"能打"的战场
Qwen3.5 系列把语言覆盖扩展到了 201 种语言。在多语言基准上,0.8B 与小一号的 2B 差距明显收窄,部分项目逼近 2B:
| 基准 | Qwen3-4B-2507 | Qwen3.5-2B | Qwen3.5-0.8B |
|---|---|---|---|
| MMMLU(多语言 MMLU) | 70.8 | 63.1 | 44.3 |
| MMLU-ProX(29 种语言) | 62.4 | 52.3 | 34.6 |
| NOVA-63 | 47.1 | 46.4 | 42.4 |
| INCLUDE | 64.4 | 55.4 | 40.6 |
| Global PIQA | 73.5 | 69.3 | 59.4 |
| WMT24++(翻译,55 种语言) | 58.9 | 45.8 | 27.2 |
| MAXIFE(多语言指令) | 72.1 | 60.6 | 39.2 |
其中 NOVA-63(42.4 分)与 2B(46.4 分)仅差 4 分,是最接近大兄弟的项目;翻译类(WMT24++)则是短板。如果你的需求是轻量多语言问答与分类,0.8B 的性价比相当可观。
👁️ 视觉实测:0.8B 也能看懂图片视频
配合仓库中的 mmproj 文件(如 mmproj-BF16.gguf),它就是一个完整的多模态模型。视觉基准成绩(思考/非思考模式):
| 类别 | 基准 | Qwen3-VL-2B | Qwen3.5-0.8B |
|---|---|---|---|
| STEM/解题 | MMMU | 61.4 | 49 / 47.4 |
| STEM/解题 | MathVista(mini) | 73.6 | 62.2 / 58.6 |
| 通用 VQA | RealWorldQA | 69.5 | 63.4 / 61.6 |
| 通用 VQA | MMBench | 81.9 | 69.9 / 68.0 |
| OCR/文档 | OCRBench | 79.2 | 74.5 / 79.1 |
| OCR/文档 | OmniDocBench1.5 | 65.9 | 61.0 / 70.6 |
| 视频理解 | VideoMME(带字幕) | 67.9 | 63.8 |
| 空间智能 | RefCOCO | 84.8 | 79.3 / 77.8 |
解读要点:
- 📷 OCR 是亮点:OCR 思考模式 79.1、OmniDocBench 70.6,甚至反超部分 2B 级模型,适合做轻量文档识别、截图问答
- 🎬 视频理解在线:VideoMME 63.8,与 2B 级模型差距不大
- 🧩 复杂推理是弱项:MMMU 49、SimpleVQA 31.3,图表推理类题目还有差距
- ⚠️ 注意:在 MTP 投机解码模式下,llama.cpp 暂不支持
--mmproj,即开 MTP 加速时视觉功能暂不可用(详见下方运行说明)
🚀 快速上手:llama.cpp 开启 MTP 投机解码
这是本仓库最大的卖点——官方给出的推荐启动命令(摘自 README.md):
./llama.cpp/llama-server \
-hf unsloth/Qwen3.5-0.8B-MTP-GGUF:UD-Q4_K_XL \
-ngl 99 -c 8192 -fa on -np 1 \
--spec-type draft-mtp --spec-draft-n-max 6
几个关键细节:
- 推荐量化:官方示例直接选用 Qwen3.5-0.8B-UD-Q4_K_XL.gguf,体积与精度平衡最好
- 参数名有坑:
--spec-type mtp已于 2026-05-13 改名为--spec-type draft-mtp,用旧参数会报错 - 两个限制:MTP 模式下暂不支持多进程并行(
-np > 1)和视觉投影(--mmproj) - CPU / Metal 用户:编译时把
-DGGML_CUDA=ON改为-DGGML_CUDA=OFF即可纯 CPU 运行 - 提速幅度:官方口径约 1.5~2 倍生成速度,对小模型在 CPU 上跑起来尤其明显
⚖️ 量化版本怎么选?
| 需求 | 推荐文件 | 说明 |
|---|---|---|
| 🏆 综合首选 | UD-Q4_K_XL | 官方示例同款,精度损失极小 |
| 💾 极限省内存 | UD-Q2_K_XL / UD-IQ2_M | 边缘设备、嵌入式场景 |
| 🔬 追求最高精度 | Qwen3.5-0.8B-Q8_0.gguf / BF16 | 微调实验、对照测试 |
| ⚖️ 中间档 | UD-Q5_K_XL、UD-Q6_K_XL | 显存充裕时的进阶选择 |
UD 系列是基于 imatrix_unsloth.gguf_file 校准的动态量化,同档位下普遍优于传统 Q 系列量化,内存紧张时优先选 UD。
✅ 写在最后:0.8B 到底值不值得跑?
一句话总结本次实测:在 1B 以下级别,Qwen3.5-0.8B 是目前综合能力最强的一档——
- 🚀 MTP 投机解码带来 1.5~2 倍提速,CPU 也能流畅对话
- 🌍 多语言能力越级,NOVA-63 逼近 2B
- 📷 OCR / 文档 / 视频理解超出体量预期
- 🧠 开启思考模式后知识类成绩提升 10 分以上
它不适合"替代"大模型,但作为原型验证、私有微调底座、端侧部署和多语言轻量服务,这份 0.8B 的 GGUF 是目前你能拿到手的最省资源的选择之一。
📌 更多部署细节(vLLM / SGLang 的 MTP 参数、采样参数最佳实践)请参考 README.md 中的 Quickstart 与 Best Practices 章节。