如何给 Qwen3.5-0.8B-Artemis-GGUF 装上眼睛:mmproj 视觉投影器图像输入教程

原创2026-11-09 22:56:202,700 阅读
文章标签:人工智能大模型模型量化本地部署多模态工具调用

如何给 Qwen3.5-0.8B-Artemis-GGUF 装上眼睛:mmproj 视觉投影器图像输入教程

Qwen3.5-0.8B-Artemis-GGUF 是 Qwen3.5 0.8B 的本地部署量化 GGUF 版本,主打工具调用与短对话。它的"眼睛"来自独立的 mmproj 视觉投影器文件(mmproj-BF16.gguf / mmproj-F16.gguf),用 llama.cpp 的 --mmproj 参数加载后,这个不到 0.6 GB 的小模型就能读取图片了。本文手把手带你完成从选文件到发送图像请求的全过程。

mmproj 视觉投影器是什么?

💡 在多模态模型中,视觉编码器负责把图片转换成语言模型能理解的向量。llama.cpp 把这个组件单独打包成一个 GGUF 文件,称为 mmproj(multimodal projector,多模态投影器)。

Qwen3.5-0.8B-Artemis-GGUF 没有把视觉编码器塞进主模型,而是从原始权重转换出两个独立的投影器文件——这样只做文字的用户不用多花 200 多 MB。

文件怎么选:BF16 还是 F16?

文件 大小 说明
mmproj-BF16.gguf 207 MB BF16 精度视觉投影器
mmproj-F16.gguf 205 MB F16 精度视觉投影器

官方测试中,两个文件在 20 道 ChartQA 图表问答上的正确数相同(均为 11 题),F16 略小一点,日常推荐 F16。

主模型方面,默认推荐 Qwen3.5-0.8B-Artemis-Q5_K_M.gguf(0.569 GB),追求更小下载体积可选 Qwen3.5-0.8B-Artemis-Q4_K_M.gguf(0.532 GB)。

方式一:llama.cpp 一条命令,自动下载视觉投影器

✅ 最快路径。-hf 参数会同时拉取主模型和 mmproj 投影器并自动加载:

llama-server -hf turintech/Qwen3.5-0.8B-Artemis-GGUF:Q5_K_M --port 8080 -c 8192 --jinja

关键参数说明:

  • -hf ...:Q5_K_M:按量化标签拉取文件。⚠️ 标签必须带 :Q5_K_M,否则默认会拉成 Q4_K_M 文件;
  • -c 8192:8,192 token 上下文;
  • --jinja:使用文件内置的 Qwen 聊天模板。

如果只需要文字对话,加 --no-mmproj 即可跳过 207 MB 的投影器下载。

方式二:本地文件加载 mmproj 视觉投影器

文件已下载时,用 --mmproj 指定投影器路径启动:

hf download turintech/Qwen3.5-0.8B-Artemis-GGUF mmproj-BF16.gguf --local-dir .
llama-server -m Qwen3.5-0.8B-Artemis-Q5_K_M.gguf --mmproj mmproj-BF16.gguf --port 8080 -c 8192 --jinja

如何发送图像请求?

服务启动后,通过 OpenAI 兼容接口把图片以 data URL 形式放进 image_url 字段即可:

curl http://localhost:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{
  "messages": [{
    "role": "user",
    "content": [
      {"type": "text", "text": "这张图里的图表说明了什么?"},
      {"type": "image_url", "image_url": {"url": "data:image/png;base64,iVBORw0KGgo...(图片 base64)"}}
    ]
  }],
  "chat_template_kwargs": {"enable_thinking": false}
}'

💡 小贴士:enable_thinking: false 会关闭思考模式,避免模型把输出额度花在推理上而"只思考不回答",短问答和图像识别场景建议保留这一项。

Ollama 如何启用图像输入?

官方 Ollama 包只包含主模型文件,不带投影器。要获得图像输入能力,需要 Ollama 0.40.11 及以上版本,按仓库名拉取,mmproj 会一并带入:

ollama run hf.co/turintech/Qwen3.5-0.8B-Artemis-GGUF:Q5_K_M

📁 更喜欢本地导入的话,把主模型和投影器放在同一目录,用两条 FROM 写 Modelfile:

FROM ./Qwen3.5-0.8B-Artemis-Q5_K_M.gguf
FROM ./mmproj-F16.gguf
RENDERER qwen3.5
PARSER qwen3.5
PARAMETER num_ctx 8192

然后执行 ollama create qwen3.5-0.8b-artemis -f Modelfile,即可 ollama run qwen3.5-0.8b-artemis 使用。

装上投影器后的内存与效果

  • 内存:官方在 RTX 5090 上实测,加载 F16 投影器并回答 20 道图表题后,GPU 内存占用约 1.7 GiB,消费级显卡毫无压力。
  • 识别能力:20 道 ChartQA 图表问答答对 11 道,与同档公开的 Q5_K_M 文件持平,日常读图、看图表够用。

常见问题 FAQ

Q:不加载 mmproj 能运行吗? A:可以,但纯文本。没有投影器时服务无法处理任何图片请求。

Q:BF16 和 F16 到底选哪个? A:同一套投影权重、不同浮点精度,体积仅差约 2 MB,官方测试两者识别效果一致,任选其一即可。

Q:如何校验下载文件? A:仓库的 SHA256SUMS 列出了主模型文件的校验和,投影器文件可对照 README.md 中的文件表核对大小。

Q:还有视觉相关的其他文件吗? A:没有。本仓库不含 MTP 文件,视觉能力完全由这两个 mmproj 投影器文件提供。

更多细节(内存、速度、精度对比)可查看 README.md,许可与转换说明见 NOTICE(Apache-2.0 许可)。

登录后查看全文
Qwen3.5-0.8B-Artemis-GGUF