Niwaki家族怎么选?Qwen3.6-11B-A3B-Niwaki-4bit-GGUF与19B/27B剪枝模型横向对比

原创2026-11-14 12:50:51195 阅读
文章标签:大模型本地部署模型压缩模型量化模型蒸馏开源模型的微调Qwen

Niwaki家族怎么选?Qwen3.6-11B-A3B-Niwaki-4bit-GGUF与19B/27B剪枝模型横向对比

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF 是「Niwaki」剪枝模型家族的 GGUF 版本:把 MoE 大模型 Qwen3.6-35B-A3B 逐专家剪枝到 11B 总参 / 约 3B 激活,可在 llama.cpp 等本地推理框架直接运行。本文横向对比 11B / 19B / 27B 三档规格,给出日常聊天、代码开发、低显存机器三类场景的直接选择结论。

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF剪枝MoE模型家族项目横幅

Niwaki家族是什么?把旗舰MoE“剪”成小模型

一句话:把 35B 总参的 MoE 大模型剪到 11B / 19B / 27B,让中小机器跑得动旗舰级能力。

  • 基座模型:Qwen 团队的 Qwen3.6-35B-A3B(Apache 2.0),MoE 架构、每 token 激活约 3B 参数
  • 剪枝思路(Niwaki,庭木):对每个路由专家按“它自身路由 token 实际用到的神经元”做宽度剪枝,再重构补偿、短暂蒸馏回补、以低精度存储
  • 完整方法论文即将发布,当前模型规格与测试数据见 README.md

三款模型速览:11B / 19B / 27B 怎么选

模型 精度 体积 一句话定位
11B-A3B-Niwaki-4bit(本仓库) 4bit 5.9 / 7.0 GB 小巧快部署,日常聊天与短文本输出
19B-A3B-Niwaki-2bit 2bit 以仓库文件列表为准 家族“干活位”,重度代码任务官方推荐
27B-A3B-Niwaki-2bit 2bit 以仓库文件列表为准 最接近 35B 基座,综合能力上限最高

三者同出 35B-A3B 基座,激活参数都约 3B——推理速度和 3B 小模型接近,能力上限却逼近旗舰 MoE。区别主要在路由专家保留多少:总参越小,剪得越狠,显存与速度优势越大,但代价也越大。

三种典型场景的选择结论

🗨️ 场景一:日常聊天、问答、写作 → 选 11B-4bit(本仓库) 官方测试确认聊天、推理、短文本写作“功能完备”(functional),且体积最小、部署门槛最低。

💻 场景二:大量长代码、代码 Agent → 选 19B-2bit 官方明确指出:持续长文件代码生成是 11B 的最弱项(长代码提示下多样性得分 0.62,更大的兄弟型号在 0.75 以上),输出容易“提前截断”。重度代码工作请上 19B。

🚀 场景三:想要最接近基座的能力,硬件允许 → 选 27B-2bit 总参最大、离 35B 基座最近,综合能力上限最高。

11B 两个量化版本,哪个更值得买

文件 体积 wt2 ppl(512-ctx) 特点
Qwen3.6-11B-A3B-Niwaki-4bit-UD-Q3K.gguf ⭐ 推荐 5.9 GB 18.29 ± 0.14 结构感知混合量化:骨干(注意力 / 共享专家 / embedding)保 Q6_K 高精度,剪枝专家走紧凑 q3_k
Qwen3.6-11B-A3B-Niwaki-4bit-Q4_K_M.gguf 7.0 GB 18.23 ± 0.14 统一 4bit,数字略好但体积大 20%

同协议下基座 Qwen3.6-35B-A3B(Q8_0)为 6.95——困惑度升高是“激进剪枝 + 低比特”的必然代价,官方表示两套平台的相对排名一致。多数用户直接选 UD-Q3K:省约 20% 空间,质量持平或更好。

llama.cpp 运行方法(最快上手路径)

需要支持 Qwen3.6(混合线性注意力)的新版 llama.cpp:

# 单轮命令行
llama-cli -m Qwen3.6-11B-A3B-Niwaki-4bit-UD-Q3K.gguf -p "你的提示词" -n 256

# 或启动本地服务
llama-server -m Qwen3.6-11B-A3B-Niwaki-4bit-UD-Q3K.gguf

两点注意:

  1. 两个 .gguf 文件位于仓库根目录,直接从文件列表下载即可;
  2. 本转换未包含投机解码(MTP)草稿模块,速度走常规解码路径。

常见问题 FAQ

Q:8GB 显存能跑吗? UD-Q3K 权重 5.9GB,加上上下文开销,8GB 显存/统一内存的机器把上下文设适中即可流畅运行;Q4_K_M 会稍紧一些。

Q:为什么困惑度和基座差这么多? 35B 基座 Q8_0 是 6.95,11B 剪枝版是 18.2+,这是“旗舰能力、小身材”换来的质量代价;官方基准中相对排名一致,跨规格不建议只看绝对值。

Q:19B / 27B 的激活参数也是 3B 吗? 是的,家族命名中的 A3B 即每 token 激活约 3B,所以三档的推理速度档位接近,差异主要在专家容量(能力上限)与总参数占用(显存需求)。

总结:一句话选型号

你的需求 选择
快速部署、日常聊天写作 11B-4bit(UD-Q3K)
重度代码、长文件生成 19B-2bit
最接近基座、硬件够 27B-2bit

Niwaki 家族证明了 MoE 大模型可以被“剪枝”到小模型身材而激活参数不减:用 3B 小模型的速度体验,拿到接近 35B 旗舰的能力上限。

登录后查看全文
Qwen3.6-11B-A3B-Niwaki-4bit-GGUF