一个仓库 24 种量化版本:Qwen3.5-122B-A10B-GGUF 从 IQ1_M 到 BF16 全版本选型指南
一个仓库 24 种量化版本:Qwen3.5-122B-A10B-GGUF 从 IQ1_M 到 BF16 全版本选型指南
Qwen3.5-122B-A10B-GGUF 仓库由 Unsloth 提供,一次性打包了 Qwen3.5-122B-A10B 多模态 MoE 大模型从超低比特 IQ1_M 到全精度 BF16 的 24 种 GGUF 量化版本,覆盖 31.87 GB 到 227.54 GB 的全部体积档位。本文带你快速看懂每种量化版本的体积、内存占用和适用场景,一次选对适合自己硬件的版本。
🤔 这个仓库里装的是什么?
Qwen3.5-122B-A10B 是一款 122B 总参数、10B 激活参数的稀疏 MoE(混合专家)架构模型,采用 Gated DeltaNet 线性注意力 + 门控注意力混合布局,原生支持 262,144 tokens 上下文,并可扩展至约 101 万 tokens。它同时内置视觉编码器,支持图像和视频输入,是 Qwen3.5 系列中的"主力旗舰"。
关键架构信息可直接查看仓库内的 config.json(如 256 个专家、每 token 激活 8+1 个专家等配置),完整的官方说明与性能基准见 README.md。
💡 MoE 架构意味着推理时只激活约 10B 参数,因此内存带宽要求远低于同尺寸稠密模型,对 CPU 混合推理(如 llama.cpp 的 CPU 卸载)非常友好。
📦 24 个量化版本一次看全
下表按体积从低到高排列,体积数据来自仓库内各分卷文件的实际大小(BF16 为 5 卷、UD-Q8_K_XL 为 5 卷、Q6_K 等按分卷累加):
| 量化版本 | 体积(GB) | 文件位置 | 定位 |
|---|---|---|---|
| UD-IQ1_M | 31.87 | Qwen3.5-122B-A10B-UD-IQ1_M.gguf | 极限压缩,尝鲜体验 |
| UD-IQ2_XXS | 34.12 | Qwen3.5-122B-A10B-UD-IQ2_XXS.gguf | 极限压缩 |
| UD-IQ2_M | 36.46 | Qwen3.5-122B-A10B-UD-IQ2_M.gguf | 极限压缩,质量略稳 |
| UD-Q2_K_XL | 38.97 | Qwen3.5-122B-A10B-UD-Q2_K_XL.gguf | 极限压缩 |
| UD-IQ3_XXS | 41.67 | Qwen3.5-122B-A10B-UD-IQ3_XXS.gguf | 低比特可用 |
| UD-IQ3_S | 43.36 | Qwen3.5-122B-A10B-UD-IQ3_S.gguf | 低比特可用 |
| Q3_K_S | 48.89 | Q3_K_S/ | 3-bit 保守选择 |
| Q3_K_M | 52.55 | Q3_K_M/ | 3-bit 推荐 |
| UD-Q3_K_XL | 53.06 | UD-Q3_K_XL/ | 3-bit 动态增强 |
| UD-IQ4_XS | 56.09 | UD-IQ4_XS/ | 4-bit 紧凑 |
| UD-IQ4_NL | 57.22 | UD-IQ4_NL/ | 4-bit 紧凑 |
| Q4_K_S | 66.78 | Q4_K_S/ | 4-bit 通用 |
| MXFP4_MOE | 69.54 | MXFP4_MOE/ | 4-bit 微缩放格式 |
| Q4_K_M | 71.28 | Q4_K_M/ | ⭐ 综合性价比之王 |
| UD-Q4_K_XL | 71.74 | UD-Q4_K_XL/ | 4-bit 动态增强 |
| Q5_K_S | 80.45 | Q5_K_S/ | 5-bit 通用 |
| Q5_K_M | 85.23 | Q5_K_M/ | 5-bit 推荐 |
| UD-Q5_K_XL | 85.61 | UD-Q5_K_XL/ | 5-bit 动态增强 |
| Q6_K | 94.07 | Q6_K/ | 6-bit 高质量 |
| UD-Q6_K_XL | 104.68 | UD-Q6_K_XL/ | 6-bit 动态增强 |
| Q8_0 | 120.95 | Q8_0/ | 8-bit 近无损 |
| UD-Q8_K_XL | 159.11 | UD-Q8_K_XL/ | 8-bit 动态增强 |
| BF16 | 227.54 | BF16/ | 全精度基线 |
几个命名规律先记住:
- UD 前缀:Unsloth Dynamic 动态量化,按张量重要性分配比特数,官方称其精度优于同体积的传统量化;
- S / M / XL 后缀:同一比特下的保守 / 标准 / 增强质量档;
- IQ 前缀:imported quant,通过 imatrix 信息进一步压缩比特的格式,体积更小但对 imatrix 质量更敏感;
- 分卷文件(如
00001-of-00003)只是下载切分,使用时按 README 合并即可,不代表要分开运行。
🎯 按你的硬件对号入座
以下按"模型权重 + KV 缓存 + 运行开销"估算 32K 上下文的最低内存需求(MoE 卸载到 CPU 时可适当放宽):
32 GB 内存:从 IQ2 档起步
可选 UD-IQ2_M(36.46 GB)略超预算,建议选 UD-IQ1_M 或 UD-IQ2_XXS,把上下文压到 8K~16K 即可体验。此档位仅适合尝鲜,复杂推理能力有明显损失。
64 GB 内存:3~4-bit 甜点区
96 GB 内存:Q4_K_M 黄金档位 ⭐
Q4_K_M(71.28 GB)是绝大多数人最合适的起点:4-bit 标准档、生态兼容最好、质量与体积平衡最稳。内存富余可上 UD-Q4_K_XL(71.74 GB)或 Q5_K_S(80.45 GB)。
128 GB 及以上:5-bit 到 8-bit 高质量区
- Q5_K_M(85.23 GB):日常主力,质量接近 6-bit;
- Q6_K(94.07 GB):长文本、代码生成更稳;
- Q8_0(120.95 GB):接近无损,适合对精度敏感的场景;
- BF16(227.54 GB):全精度基线,仅用于科研评测或顶级硬件(如 256 GB 内存机器 / 多卡),普通用户不必考虑。
⚠️ 遇到 OOM(显存/内存不足)时,先调小上下文长度再考虑降量化档位。官方建议长任务至少保留 128K 上下文以维持思考能力。
🔧 别忽略仓库里的三个辅助文件
| 文件 | 体积 | 作用 |
|---|---|---|
| imatrix_unsloth.gguf | 0.33 GB | Unsloth 的 imatrix 校准数据,本仓库所有 GGUF 均基于它量化,是 IQ 系列精度的保障 |
| mmproj-F16.gguf | 0.85 GB | 视觉投影层(F16 精度),需要看图/看视频时必加 |
| mmproj-BF16.gguf / mmproj-F32.gguf | 0.85 / 1.68 GB | 视觉投影层的更高精度版本 |
🚀 三步跑起来
1️⃣ 获取仓库(模型文件较大,建议按需只拉取目标量化目录):
git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.5-122B-A10B-GGUF
2️⃣ 用 llama.cpp 启动(以 Q4_K_M 为例,多模态加 --mmproj):
llama-server -m Q4_K_M/Qwen3.5-122B-A10B-Q4_K_M-00001-of-00003.gguf \
--mmproj mmproj-F16.gguf \
-c 32768 -ngl 0 --port 8080
-ngl 0 表示全部层放内存/CPU 混合推理,适合大内存机器;有富余显存可配合 -sm main,16 把公共层卸载到 GPU。
3️⃣ 关闭思考模式(可选)。Qwen3.5 默认先思考再回答,想要"直答模式"可加:
--chat-template-kwargs '{"enable_thinking":false}'
采样参数建议直接采用 README.md 中 Best Practices 一节给出的组合(如思考模式 temperature=1.0, top_p=0.95, top_k=20, presence_penalty=1.5)。
✅ 选型结论速查
- 64 GB 内内存 → UD-IQ4_XS 或 Q3_K_M
- 96 GB 内存 → Q4_K_M(首选)/ UD-Q4_K_XL
- 128 GB+ 内存 → Q5_K_M 或 Q6_K
- 追求极致精度 → Q8_0,评测基线用 BF16
- 需要看图像/视频 → 记得加载 mmproj-F16.gguf
24 个版本合计约 1.73 TB,仓库体积虽大,但"只下载一个档位"的成本其实很低。选错一次大不了重下一份,而选对了,这台机器就能稳定跑起旗舰级多模态大模型。