0.8B 模型能有多强?Qwen3.5-0.8B-MTP-GGUF 基准测试全解读:推理、多语言与视觉实测

原创2026-11-09 21:00:142,148 阅读

0.8B 模型能有多强?Qwen3.5-0.8B-MTP-GGUF 基准测试全解读:推理、多语言与视觉实测

Qwen3.5-0.8B-MTP-GGUF 是由 Unsloth 提供的 0.8B 超小多模态模型 GGUF 量化版本,内置 MTP(Multi-Token Prediction,多令牌预测)权重,可在 llama.cpp 中开启投机解码,让生成速度提升约 1.5~2 倍。它原生支持 262,144 token 上下文、201 种语言,并附带视觉投影器(mmproj),是一张普通 CPU/小显存显卡就能跑起来的"迷你全能卡"。

本文将逐张拆解官方基准测试数据,帮你在部署前就心里有数。

📦 仓库里都有什么?

整个仓库结构非常清爽,三类文件:

类型 文件示例 说明
主模型量化 Qwen3.5-0.8B-UD-Q4_K_XL.gguf、Qwen3.5-0.8B-BF16.gguf 20 种精度,从 Q8_0 到 UD-Q2_K_XL 全覆盖
视觉投影器 mmproj-F16.gguf、mmproj-F32.gguf 图片/视频理解需要,配合 --mmproj 参数加载
量化参考数据 imatrix_unsloth.gguf_file imatrix 信息矩阵文件,用于智能量化校准

量化档位一次给齐:经典系列(Q4_0、Q4_K_M、Q5_K_S、Q6_K、Q8_0 等)加上 Unsloth 自家的 UD 动态量化系列(UD-IQ2_M、UD-Q2_K_XL、UD-Q4_K_XL……)。按官方说明,Unsloth Dynamic 2.0 在相同体积下精度表现优于其他主流量化方案。

🧠 架构速览:0.8B 为什么能又快又省?

先看 README.md 中的模型规格:

  • 参数量:0.8B,隐藏维度 1024,共 24 层
  • 混合架构:Gated DeltaNet(线性注意力)+ Gated Attention 组合,布局为 6 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN)),线性注意力占比高,长上下文推理开销显著低于传统全注意力结构
  • 上下文长度:原生 262,144 token
  • MTP 模块:训练时即按多步方式引入,正是这份 GGUF 能开投机解码的底气
  • 多模态:带视觉编码器的统一视觉-语言模型,支持图片、视频输入

📊 语言基准实测:推理能力几何?

以下数据来自 README.md 官方 Benchmark Results 部分,对比对象为 Qwen3-4B-2507(上一代 4B)与 Qwen3.5-2B(同代更大一号的兄弟)。

非思考模式(Non-Thinking):

基准 Qwen3-4B-2507 Qwen3.5-2B Qwen3.5-0.8B
MMLU-Pro 69.6 55.3 29.7
MMLU-Redux 84.2 69.2 48.5
C-Eval(中文) 80.2 65.2 46.4
SuperGPQA 42.8 30.4 16.9
IFEval(指令遵循) 83.4 61.2 52.1

思考模式(Thinking)下的知识/STEM 类基准:

基准 Qwen3-4B-2507 Qwen3.5-2B Qwen3.5-0.8B
MMLU-Pro 74.0 66.5 42.3
MMLU-Redux 86.1 79.6 59.5
C-Eval 82.2 73.2 50.5
LongBench v2(长文本) 42.8 38.7 26.1

解读要点:

  • 📈 思考模式收益巨大:开启思考后,MMLU-Pro 从 29.7 提升到 42.3,MMLU-Redux 从 48.5 提升到 59.5,涨幅普遍在 10 分以上,说明"多想一下"对这种小模型尤其关键
  • ⚠️ 客观差距仍在:与 2B 仍有明显距离,更不用说 4B;GPQA(博士级科学问答)只有 11.9,硬核科研题不是它的舞台
  • ✅ 定位清晰:官方明确其适用场景为原型验证、任务定制微调(可用 Unsloth 本地微调)与研发实验,而不是直接替代大模型

🌍 多语言测试:最"能打"的战场

Qwen3.5 系列把语言覆盖扩展到了 201 种语言。在多语言基准上,0.8B 与小一号的 2B 差距明显收窄,部分项目逼近 2B:

基准 Qwen3-4B-2507 Qwen3.5-2B Qwen3.5-0.8B
MMMLU(多语言 MMLU) 70.8 63.1 44.3
MMLU-ProX(29 种语言) 62.4 52.3 34.6
NOVA-63 47.1 46.4 42.4
INCLUDE 64.4 55.4 40.6
Global PIQA 73.5 69.3 59.4
WMT24++(翻译,55 种语言) 58.9 45.8 27.2
MAXIFE(多语言指令) 72.1 60.6 39.2

其中 NOVA-63(42.4 分)与 2B(46.4 分)仅差 4 分,是最接近大兄弟的项目;翻译类(WMT24++)则是短板。如果你的需求是轻量多语言问答与分类,0.8B 的性价比相当可观。

👁️ 视觉实测:0.8B 也能看懂图片视频

配合仓库中的 mmproj 文件(如 mmproj-BF16.gguf),它就是一个完整的多模态模型。视觉基准成绩(思考/非思考模式):

类别 基准 Qwen3-VL-2B Qwen3.5-0.8B
STEM/解题 MMMU 61.4 49 / 47.4
STEM/解题 MathVista(mini) 73.6 62.2 / 58.6
通用 VQA RealWorldQA 69.5 63.4 / 61.6
通用 VQA MMBench 81.9 69.9 / 68.0
OCR/文档 OCRBench 79.2 74.5 / 79.1
OCR/文档 OmniDocBench1.5 65.9 61.0 / 70.6
视频理解 VideoMME(带字幕) 67.9 63.8
空间智能 RefCOCO 84.8 79.3 / 77.8

解读要点:

  • 📷 OCR 是亮点:OCR 思考模式 79.1、OmniDocBench 70.6,甚至反超部分 2B 级模型,适合做轻量文档识别、截图问答
  • 🎬 视频理解在线:VideoMME 63.8,与 2B 级模型差距不大
  • 🧩 复杂推理是弱项:MMMU 49、SimpleVQA 31.3,图表推理类题目还有差距
  • ⚠️ 注意:在 MTP 投机解码模式下,llama.cpp 暂不支持 --mmproj,即开 MTP 加速时视觉功能暂不可用(详见下方运行说明)

🚀 快速上手:llama.cpp 开启 MTP 投机解码

这是本仓库最大的卖点——官方给出的推荐启动命令(摘自 README.md):

./llama.cpp/llama-server \
    -hf unsloth/Qwen3.5-0.8B-MTP-GGUF:UD-Q4_K_XL \
    -ngl 99 -c 8192 -fa on -np 1 \
    --spec-type draft-mtp --spec-draft-n-max 6

几个关键细节:

  1. 推荐量化:官方示例直接选用 Qwen3.5-0.8B-UD-Q4_K_XL.gguf,体积与精度平衡最好
  2. 参数名有坑:--spec-type mtp 已于 2026-05-13 改名为 --spec-type draft-mtp,用旧参数会报错
  3. 两个限制:MTP 模式下暂不支持多进程并行(-np > 1)和视觉投影(--mmproj)
  4. CPU / Metal 用户:编译时把 -DGGML_CUDA=ON 改为 -DGGML_CUDA=OFF 即可纯 CPU 运行
  5. 提速幅度:官方口径约 1.5~2 倍生成速度,对小模型在 CPU 上跑起来尤其明显

⚖️ 量化版本怎么选?

需求 推荐文件 说明
🏆 综合首选 UD-Q4_K_XL 官方示例同款,精度损失极小
💾 极限省内存 UD-Q2_K_XL / UD-IQ2_M 边缘设备、嵌入式场景
🔬 追求最高精度 Qwen3.5-0.8B-Q8_0.gguf / BF16 微调实验、对照测试
⚖️ 中间档 UD-Q5_K_XL、UD-Q6_K_XL 显存充裕时的进阶选择

UD 系列是基于 imatrix_unsloth.gguf_file 校准的动态量化,同档位下普遍优于传统 Q 系列量化,内存紧张时优先选 UD。

✅ 写在最后:0.8B 到底值不值得跑?

一句话总结本次实测:在 1B 以下级别,Qwen3.5-0.8B 是目前综合能力最强的一档——

  • 🚀 MTP 投机解码带来 1.5~2 倍提速,CPU 也能流畅对话
  • 🌍 多语言能力越级,NOVA-63 逼近 2B
  • 📷 OCR / 文档 / 视频理解超出体量预期
  • 🧠 开启思考模式后知识类成绩提升 10 分以上

它不适合"替代"大模型,但作为原型验证、私有微调底座、端侧部署和多语言轻量服务,这份 0.8B 的 GGUF 是目前你能拿到手的最省资源的选择之一。

📌 更多部署细节(vLLM / SGLang 的 MTP 参数、采样参数最佳实践)请参考 README.md 中的 Quickstart 与 Best Practices 章节。

登录后查看全文
Qwen3.5-0.8B-MTP-GGUF