让 0.8B 小模型看懂图片与视频:Qwen3.5-0.8B-MTP-GGUF 多模态 mmproj 完整使用指南
让 0.8B 小模型看懂图片与视频:Qwen3.5-0.8B-MTP-GGUF 多模态 mmproj 完整使用指南
Qwen3.5-0.8B-MTP-GGUF 是 Qwen3.5-0.8B 的本地部署 GGUF 权重包,内置 mmproj 视觉投影文件,让不到 1GB 显存占用的小模型也能理解图片和视频。本文带你用 llama.cpp 三步跑通多模态推理,并讲清 MTP 加速与 mmproj 的关键冲突 ⚠️。
一、mmproj 是什么?0.8B 小模型为何能看懂图
Qwen3.5 采用统一视觉-语言架构(Causal Language Model with Vision Encoder),视觉编码器负责把图像/视频帧编码成模型能理解的 token。在 llama.cpp 生态中,视觉编码器被单独切分出来,存放在 mmproj(multimodal projector)文件里,与主模型权重分离加载。
本仓库提供了 3 种精度的 mmproj 文件,按需选择即可:
| 文件 | 精度 | 适用场景 |
|---|---|---|
| mmproj-F16.gguf | 半精度 FP16 | 🎯 大多数显卡的默认选择,速度与精度平衡最佳 |
| mmproj-BF16.gguf | BFloat16 | 支持 BF16 的 GPU(如 RTX 30/40/50 系、A100)可选,数值稳定性更好 |
| mmproj-F32.gguf | 单精度 FP32 | 追求最高视觉精度、显存充足时使用,体积最大 |
💡 提示:mmproj 文件通常只有几百 MB,与主模型量化版本互相独立,可自由搭配。
二、主模型量化怎么选
仓库收录了从 Qwen3.5-0.8B-UD-IQ2_M.gguf 到 Qwen3.5-0.8B-BF16.gguf 的全套量化,0.8B 参数量级下推荐:
- 首选:UD-Q4_K_XL(Qwen3.5-0.8B-UD-Q4_K_XL.gguf)——Unsloth Dynamic 2.0 动态量化,README 官方示例即用它,精度接近 BF16 而体积只有其 1/4 左右;
- 显存极小(<2GB):选 UD-IQ2_M / UD-IQ3_XXS;
- 追求无损:选 Q8_0 或 BF16。
动态量化依赖的 imatrix 数据文件 imatrix_unsloth.gguf_file 已随仓库提供,无需额外准备。
三、一键构建支持多模态的 llama.cpp
MTP 多 token 预测能力已在 2026-05-16 合入 llama.cpp 主线(见 README.md),确保源码为最新主线版本,然后按 README.md 官方步骤编译:
# 获取最新 llama.cpp 源码后编译,关键:带上 llama-mtmd-cli 多模态目标
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
cmake --build llama.cpp/build --config Release -j --clean-first \
--target llama-cli llama-mtmd-cli llama-server llama-gguf-split
⚙️ 纯 CPU / Apple Metal 环境请把
-DGGML_CUDA=ON改为-DGGML_CUDA=OFF。
四、3 种多模态运行方式
1. 命令行直接问图(最快上手)
用 llama-mtmd-cli + --mmproj 即可交互问答,支持图片路径输入:
./llama.cpp/llama-mtmd-cli \
-m Qwen3.5-0.8B-UD-Q4_K_XL.gguf \
--mmproj mmproj-F16.gguf \
-ngl 99 \
-p demo.png -e "描述这张图片里有什么?"
视频理解:先用 ffmpeg 按约 2 帧/秒抽帧(与官方默认 fps=2 采样一致),再把帧目录喂给 llama-mtmd-cli 即可实现"视频总结"。
2. 启动 OpenAI 兼容 API 服务
./llama.cpp/llama-server \
-m Qwen3.5-0.8B-UD-Q4_K_XL.gguf \
--mmproj mmproj-F16.gguf \
-ngl 99 -c 8192 -fa on
启动后即可用标准 Chat Completions 接口传 image_url,无缝接入现有 OpenAI SDK 代码。VL 任务推荐采样参数:temperature=0.7, top_p=0.8, top_k=20, presence_penalty=1.5(见 README.md)。
3. MTP 加速模式(纯文本更快,但与 mmproj 互斥)
MTP 投机解码可让生成提速约 1.5~2 倍:
./llama.cpp/llama-server \
-m Qwen3.5-0.8B-UD-Q4_K_XL.gguf \
-ngl 99 -c 8192 -fa on -np 1 \
--spec-type draft-mtp --spec-draft-n-max 6
⚠️ 重点坑位:README 明确说明——启用 MTP(
--spec-type draft-mtp)时暂不支持--mmproj和-np > 1(README.md)。也就是说:
- 要看图/看视频 → 不加
--spec-type,加--mmproj;- 要纯文本极速生成 → 加
--spec-type draft-mtp --spec-draft-n-max 6,去掉--mmproj。另外注意:
--spec-type mtp参数已于 2026-05-13 更名为--spec-type draft-mtp,旧脚本需同步修改。
五、常见问题速查
| 问题 | 解决方案 |
|---|---|
| 启动报缺少 mmproj / 视觉报错 | 检查是否漏了 --mmproj mmproj-F16.gguf 参数,或 mmproj 与主模型版本不匹配 |
| 开启 MTP 后多模态失效 | 二者暂不兼容,按上文"重点坑位"二选一 |
| 长视频效果不佳 | 提高抽帧率(如 2~4 fps);官方建议对小时级视频调大 longest_edge 至 469762048 |
| 显存不足 OOM | 降低 -c 上下文长度,或改用 UD-IQ3_XXS / UD-IQ2_M 量化 |
| 回答风格太"想太多" | 0.8B 默认非思考模式;思考模式需在 API 中显式传 enable_thinking: True |
六、小结
- 📦 三件套:主模型 GGUF(推荐 UD-Q4_K_XL)+ mmproj(推荐 F16)+ 最新 llama.cpp;
- 📸 图片理解一条命令:
llama-mtmd-cli -m 模型 --mmproj 投影文件 -p 图片; - 🎬 视频理解:抽帧 2fps + 多帧输入;
- ⚡ 记住互斥关系:MTP 加速 ✕ mmproj 多模态,当前版本不可同时开启。
完整模型规格(24 层、262144 原生上下文、MTP 多步训练)与视觉基准成绩(VideoMME 63.8、OCRBench 79.1 等)可查阅 README.md,0.8B 小体量竟能拿到这些分数,本地多模态体验相当惊艳 🚀