如何给 Qwen3.5-0.8B-Artemis-GGUF 装上眼睛:mmproj 视觉投影器图像输入教程
如何给 Qwen3.5-0.8B-Artemis-GGUF 装上眼睛:mmproj 视觉投影器图像输入教程
Qwen3.5-0.8B-Artemis-GGUF 是 Qwen3.5 0.8B 的本地部署量化 GGUF 版本,主打工具调用与短对话。它的"眼睛"来自独立的 mmproj 视觉投影器文件(mmproj-BF16.gguf / mmproj-F16.gguf),用 llama.cpp 的 --mmproj 参数加载后,这个不到 0.6 GB 的小模型就能读取图片了。本文手把手带你完成从选文件到发送图像请求的全过程。
mmproj 视觉投影器是什么?
💡 在多模态模型中,视觉编码器负责把图片转换成语言模型能理解的向量。llama.cpp 把这个组件单独打包成一个 GGUF 文件,称为 mmproj(multimodal projector,多模态投影器)。
Qwen3.5-0.8B-Artemis-GGUF 没有把视觉编码器塞进主模型,而是从原始权重转换出两个独立的投影器文件——这样只做文字的用户不用多花 200 多 MB。
文件怎么选:BF16 还是 F16?
| 文件 | 大小 | 说明 |
|---|---|---|
| mmproj-BF16.gguf | 207 MB | BF16 精度视觉投影器 |
| mmproj-F16.gguf | 205 MB | F16 精度视觉投影器 |
官方测试中,两个文件在 20 道 ChartQA 图表问答上的正确数相同(均为 11 题),F16 略小一点,日常推荐 F16。
主模型方面,默认推荐 Qwen3.5-0.8B-Artemis-Q5_K_M.gguf(0.569 GB),追求更小下载体积可选 Qwen3.5-0.8B-Artemis-Q4_K_M.gguf(0.532 GB)。
方式一:llama.cpp 一条命令,自动下载视觉投影器
✅ 最快路径。-hf 参数会同时拉取主模型和 mmproj 投影器并自动加载:
llama-server -hf turintech/Qwen3.5-0.8B-Artemis-GGUF:Q5_K_M --port 8080 -c 8192 --jinja
关键参数说明:
-hf ...:Q5_K_M:按量化标签拉取文件。⚠️ 标签必须带:Q5_K_M,否则默认会拉成 Q4_K_M 文件;-c 8192:8,192 token 上下文;--jinja:使用文件内置的 Qwen 聊天模板。
如果只需要文字对话,加 --no-mmproj 即可跳过 207 MB 的投影器下载。
方式二:本地文件加载 mmproj 视觉投影器
文件已下载时,用 --mmproj 指定投影器路径启动:
hf download turintech/Qwen3.5-0.8B-Artemis-GGUF mmproj-BF16.gguf --local-dir .
llama-server -m Qwen3.5-0.8B-Artemis-Q5_K_M.gguf --mmproj mmproj-BF16.gguf --port 8080 -c 8192 --jinja
如何发送图像请求?
服务启动后,通过 OpenAI 兼容接口把图片以 data URL 形式放进 image_url 字段即可:
curl http://localhost:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{
"messages": [{
"role": "user",
"content": [
{"type": "text", "text": "这张图里的图表说明了什么?"},
{"type": "image_url", "image_url": {"url": "data:image/png;base64,iVBORw0KGgo...(图片 base64)"}}
]
}],
"chat_template_kwargs": {"enable_thinking": false}
}'
💡 小贴士:enable_thinking: false 会关闭思考模式,避免模型把输出额度花在推理上而"只思考不回答",短问答和图像识别场景建议保留这一项。
Ollama 如何启用图像输入?
官方 Ollama 包只包含主模型文件,不带投影器。要获得图像输入能力,需要 Ollama 0.40.11 及以上版本,按仓库名拉取,mmproj 会一并带入:
ollama run hf.co/turintech/Qwen3.5-0.8B-Artemis-GGUF:Q5_K_M
📁 更喜欢本地导入的话,把主模型和投影器放在同一目录,用两条 FROM 写 Modelfile:
FROM ./Qwen3.5-0.8B-Artemis-Q5_K_M.gguf
FROM ./mmproj-F16.gguf
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER num_ctx 8192
然后执行 ollama create qwen3.5-0.8b-artemis -f Modelfile,即可 ollama run qwen3.5-0.8b-artemis 使用。
装上投影器后的内存与效果
- 内存:官方在 RTX 5090 上实测,加载 F16 投影器并回答 20 道图表题后,GPU 内存占用约 1.7 GiB,消费级显卡毫无压力。
- 识别能力:20 道 ChartQA 图表问答答对 11 道,与同档公开的 Q5_K_M 文件持平,日常读图、看图表够用。
常见问题 FAQ
Q:不加载 mmproj 能运行吗? A:可以,但纯文本。没有投影器时服务无法处理任何图片请求。
Q:BF16 和 F16 到底选哪个? A:同一套投影权重、不同浮点精度,体积仅差约 2 MB,官方测试两者识别效果一致,任选其一即可。
Q:如何校验下载文件? A:仓库的 SHA256SUMS 列出了主模型文件的校验和,投影器文件可对照 README.md 中的文件表核对大小。
Q:还有视觉相关的其他文件吗? A:没有。本仓库不含 MTP 文件,视觉能力完全由这两个 mmproj 投影器文件提供。
更多细节(内存、速度、精度对比)可查看 README.md,许可与转换说明见 NOTICE(Apache-2.0 许可)。