一个仓库 24 种量化版本:Qwen3.5-122B-A10B-GGUF 从 IQ1_M 到 BF16 全版本选型指南

原创2026-10-19 10:49:451,647 阅读

一个仓库 24 种量化版本:Qwen3.5-122B-A10B-GGUF 从 IQ1_M 到 BF16 全版本选型指南

Qwen3.5-122B-A10B-GGUF 仓库由 Unsloth 提供,一次性打包了 Qwen3.5-122B-A10B 多模态 MoE 大模型从超低比特 IQ1_M 到全精度 BF16 的 24 种 GGUF 量化版本,覆盖 31.87 GB 到 227.54 GB 的全部体积档位。本文带你快速看懂每种量化版本的体积、内存占用和适用场景,一次选对适合自己硬件的版本。

🤔 这个仓库里装的是什么?

Qwen3.5-122B-A10B 是一款 122B 总参数、10B 激活参数的稀疏 MoE(混合专家)架构模型,采用 Gated DeltaNet 线性注意力 + 门控注意力混合布局,原生支持 262,144 tokens 上下文,并可扩展至约 101 万 tokens。它同时内置视觉编码器,支持图像和视频输入,是 Qwen3.5 系列中的"主力旗舰"。

关键架构信息可直接查看仓库内的 config.json(如 256 个专家、每 token 激活 8+1 个专家等配置),完整的官方说明与性能基准见 README.md。

💡 MoE 架构意味着推理时只激活约 10B 参数,因此内存带宽要求远低于同尺寸稠密模型,对 CPU 混合推理(如 llama.cpp 的 CPU 卸载)非常友好。

📦 24 个量化版本一次看全

下表按体积从低到高排列,体积数据来自仓库内各分卷文件的实际大小(BF16 为 5 卷、UD-Q8_K_XL 为 5 卷、Q6_K 等按分卷累加):

量化版本 体积(GB) 文件位置 定位
UD-IQ1_M 31.87 Qwen3.5-122B-A10B-UD-IQ1_M.gguf 极限压缩,尝鲜体验
UD-IQ2_XXS 34.12 Qwen3.5-122B-A10B-UD-IQ2_XXS.gguf 极限压缩
UD-IQ2_M 36.46 Qwen3.5-122B-A10B-UD-IQ2_M.gguf 极限压缩,质量略稳
UD-Q2_K_XL 38.97 Qwen3.5-122B-A10B-UD-Q2_K_XL.gguf 极限压缩
UD-IQ3_XXS 41.67 Qwen3.5-122B-A10B-UD-IQ3_XXS.gguf 低比特可用
UD-IQ3_S 43.36 Qwen3.5-122B-A10B-UD-IQ3_S.gguf 低比特可用
Q3_K_S 48.89 Q3_K_S/ 3-bit 保守选择
Q3_K_M 52.55 Q3_K_M/ 3-bit 推荐
UD-Q3_K_XL 53.06 UD-Q3_K_XL/ 3-bit 动态增强
UD-IQ4_XS 56.09 UD-IQ4_XS/ 4-bit 紧凑
UD-IQ4_NL 57.22 UD-IQ4_NL/ 4-bit 紧凑
Q4_K_S 66.78 Q4_K_S/ 4-bit 通用
MXFP4_MOE 69.54 MXFP4_MOE/ 4-bit 微缩放格式
Q4_K_M 71.28 Q4_K_M/ ⭐ 综合性价比之王
UD-Q4_K_XL 71.74 UD-Q4_K_XL/ 4-bit 动态增强
Q5_K_S 80.45 Q5_K_S/ 5-bit 通用
Q5_K_M 85.23 Q5_K_M/ 5-bit 推荐
UD-Q5_K_XL 85.61 UD-Q5_K_XL/ 5-bit 动态增强
Q6_K 94.07 Q6_K/ 6-bit 高质量
UD-Q6_K_XL 104.68 UD-Q6_K_XL/ 6-bit 动态增强
Q8_0 120.95 Q8_0/ 8-bit 近无损
UD-Q8_K_XL 159.11 UD-Q8_K_XL/ 8-bit 动态增强
BF16 227.54 BF16/ 全精度基线

几个命名规律先记住:

  • UD 前缀:Unsloth Dynamic 动态量化,按张量重要性分配比特数,官方称其精度优于同体积的传统量化;
  • S / M / XL 后缀:同一比特下的保守 / 标准 / 增强质量档;
  • IQ 前缀:imported quant,通过 imatrix 信息进一步压缩比特的格式,体积更小但对 imatrix 质量更敏感;
  • 分卷文件(如 00001-of-00003)只是下载切分,使用时按 README 合并即可,不代表要分开运行。

🎯 按你的硬件对号入座

以下按"模型权重 + KV 缓存 + 运行开销"估算 32K 上下文的最低内存需求(MoE 卸载到 CPU 时可适当放宽):

32 GB 内存:从 IQ2 档起步

可选 UD-IQ2_M(36.46 GB)略超预算,建议选 UD-IQ1_M 或 UD-IQ2_XXS,把上下文压到 8K~16K 即可体验。此档位仅适合尝鲜,复杂推理能力有明显损失。

64 GB 内存:3~4-bit 甜点区

  • 求稳选 Q3_K_M(52.55 GB)或 Q4_K_S(66.78 GB,需压缩上下文);
  • 追求同体积更高精度,优先 UD-IQ4_XS(56.09 GB)这类 UD 动态版本。

96 GB 内存:Q4_K_M 黄金档位 ⭐

Q4_K_M(71.28 GB)是绝大多数人最合适的起点:4-bit 标准档、生态兼容最好、质量与体积平衡最稳。内存富余可上 UD-Q4_K_XL(71.74 GB)或 Q5_K_S(80.45 GB)。

128 GB 及以上:5-bit 到 8-bit 高质量区

  • Q5_K_M(85.23 GB):日常主力,质量接近 6-bit;
  • Q6_K(94.07 GB):长文本、代码生成更稳;
  • Q8_0(120.95 GB):接近无损,适合对精度敏感的场景;
  • BF16(227.54 GB):全精度基线,仅用于科研评测或顶级硬件(如 256 GB 内存机器 / 多卡),普通用户不必考虑。

⚠️ 遇到 OOM(显存/内存不足)时,先调小上下文长度再考虑降量化档位。官方建议长任务至少保留 128K 上下文以维持思考能力。

🔧 别忽略仓库里的三个辅助文件

文件 体积 作用
imatrix_unsloth.gguf 0.33 GB Unsloth 的 imatrix 校准数据,本仓库所有 GGUF 均基于它量化,是 IQ 系列精度的保障
mmproj-F16.gguf 0.85 GB 视觉投影层(F16 精度),需要看图/看视频时必加
mmproj-BF16.gguf / mmproj-F32.gguf 0.85 / 1.68 GB 视觉投影层的更高精度版本

🚀 三步跑起来

1️⃣ 获取仓库(模型文件较大,建议按需只拉取目标量化目录):

git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.5-122B-A10B-GGUF

2️⃣ 用 llama.cpp 启动(以 Q4_K_M 为例,多模态加 --mmproj):

llama-server -m Q4_K_M/Qwen3.5-122B-A10B-Q4_K_M-00001-of-00003.gguf \
  --mmproj mmproj-F16.gguf \
  -c 32768 -ngl 0 --port 8080

-ngl 0 表示全部层放内存/CPU 混合推理,适合大内存机器;有富余显存可配合 -sm main,16 把公共层卸载到 GPU。

3️⃣ 关闭思考模式(可选)。Qwen3.5 默认先思考再回答,想要"直答模式"可加:

--chat-template-kwargs '{"enable_thinking":false}'

采样参数建议直接采用 README.md 中 Best Practices 一节给出的组合(如思考模式 temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5)。

✅ 选型结论速查

24 个版本合计约 1.73 TB,仓库体积虽大,但"只下载一个档位"的成本其实很低。选错一次大不了重下一份,而选对了,这台机器就能稳定跑起旗舰级多模态大模型。

登录后查看全文
Qwen3.5-122B-A10B-GGUF