GGUF、imatrix、mmproj傻傻分不清?Qwen3.5-4B-Artemis-GGUF六种文件详解

原创2026-11-11 13:36:271,697 阅读

GGUF、imatrix、mmproj傻傻分不清?Qwen3.5-4B-Artemis-GGUF六种文件详解

Qwen3.5-4B-Artemis-GGUF 仓库里一共有 6 个 .gguf 文件:三个是可直接运行的量化模型,一个是量化用的 imatrix 重要性矩阵,两个是支持图片输入的 mmproj 视觉文件。本文面向新手,逐个讲清楚每个文件是什么、多大、要不要下载、怎么运行,看完不再混淆。

📦 30秒总览:六种文件一张表看懂

文件 大小 角色 要不要下载
Qwen3.5-4B-Artemis-Q4_K_M.gguf 2.71 GB 默认主模型 ✅ 推荐
Qwen3.5-4B-Artemis-Q5_K_S.gguf 2.90 GB 更精细的备选模型 可选
Qwen3.5-4B-Artemis-Q5_K_M.gguf 3.01 GB 更精细的备选模型 可选
Qwen3.5-4B-Artemis-imatrix.gguf 7 MB 量化用的重要性矩阵 ❌ 不需要
mmproj-BF16.gguf 676 MB 视觉投影器(看图能力) 需要看图时下载
mmproj-F16.gguf 672 MB 视觉投影器(看图能力) 需要看图时下载

💡 一句话记忆:主模型 + 可选的 mmproj 看图片,imatrix 是制作模型用的"工具",不是模型。

什么是 GGUF 文件?

GGUF 是 llama.cpp 生态的模型文件格式,可以理解成"模型的通用容器":把原始权重压缩(量化)后打包,方便在本地电脑上运行。

文件名末尾的后缀表示量化档位,数字越大、字母越多代表保留的信息越多,文件也越大:

  • Q4_K_M:约 5.14 bits/weight,体积最小,速度与内存占用最友好
  • Q5_K_S:约 5.50 bits/weight,中间档
  • Q5_K_M:约 5.71 bits/weight,最精细,输出最接近原始精度

这套模型的三个主文件都基于 Qwen3.5 4B 转换而来,不含 MTP 层,单个文件即可独立运行。

三个主模型文件怎么选?

Q4_K_M(2.71 GB):默认首选 🌟

  • 在 NVIDIA RTX 5090 上以 8,192 token 上下文运行时,GPU 峰值内存仅 3.5 GiB(原始 BF16 版本要 8.9 GiB)
  • 与原始模型逐 token 对比,93.5% 的 WikiText-2 token 预测一致
  • 258 次 BFCL 实时工具调用测试中答对 204 次,与原始模型持平

Q5_K_S(2.90 GB)与 Q5_K_M(3.01 GB):内存宽裕时考虑

两者是更大的备选文件,token 一致率分别达到 94.4% 和 95.1%,更接近原始模型。如果你的显卡或内存还有富余(每个文件大约多 0.2~0.3 GiB),可以选它们换更稳定的输出。

⚠️ 表中的 GB 是下载体积,不是运行内存;运行内存还会随上下文长度变化。

imatrix:看着像模型,其实不是模型

Qwen3.5-4B-Artemis-imatrix.gguf 只有 7 MB,它是量化过程中使用的重要性矩阵(importance matrix)——记录模型各部分"重要程度"的校准数据,帮助量化工具决定哪些权重该多保留一点精度。

关键点:

  • ❌ 它不是可以运行的模型,运行模型时完全用不到
  • ✅ 它属于"制作过程文件",仓库放出来是供参考和复现
  • 新手直接忽略即可,省得白白下载

mmproj:给模型装上"眼睛"的视觉文件

Qwen3.5 4B 本身是视觉语言模型,但主模型文件里不包含视觉编码器。要看图片,需要额外加载一个视觉投影器(multimodal projector),也就是 mmproj 文件:

  • mmproj-BF16.gguf(676 MB)与 mmproj-F16.gguf(672 MB)内含完全相同的张量,区别只是数值精度(BF16 vs F16),F16 版略小
  • 在官方测试的 20 道图表题中,主模型搭配 F16 投影器答对 15 道,表现与 BF16 版相当
  • 只做文字聊天?加 --no-mmproj 或干脆不下载,就能跳过这 670+ MB 的下载量

新手选择清单 ✅

你的需求 下载什么
小显存(4 GB 左右)跑聊天、工具调用 主文件 Q4_K_M 即可
显存/内存宽裕,追求更稳定输出 换 Q5_K_S 或 Q5_K_M
需要发图片给模型 主文件 + 任选一个 mmproj(推荐 F16,更小)
任何情况 都不需要 imatrix

快速上手:一条命令跑起来

用支持 Qwen3.5 的 llama.cpp,最简运行方式(文字 + 看图):

llama-server -m Qwen3.5-4B-Artemis-Q4_K_M.gguf --mmproj mmproj-F16.gguf --port 8080 -c 8192 --jinja

其中 --jinja 启用聊天模板,-c 8192 设置 8192 token 上下文。若用 Ollama,可直接运行标签 turintech/qwen3.5-4b-artemis:q4_k_m(默认即 Q4_K_M),更多用法详见 README.md。

下载后怎么验证文件没损坏?

仓库提供 SHA256SUMS 校验文件,覆盖了三个主模型和 imatrix 共 4 个文件。下载完成后,在文件所在目录执行:

sha256sum -c SHA256SUMS

全部显示 OK,说明文件完整无误。

总结

  • 3 个主模型:Q4_K_M(默认)、Q5_K_S、Q5_K_M,按显存选一个即可
  • imatrix:量化校准数据,7 MB 的小文件,运行模型用不到
  • 2 个 mmproj:视觉投影器,想看图才需要,BF16/F16 二选一
  • 配合 SHA256SUMS 校验、README.md 查细节,本地跑起 Qwen3.5-4B 就齐活了
登录后查看全文
Qwen3.5-4B-Artemis-GGUF