Niwaki家族怎么选?Qwen3.6-11B-A3B-Niwaki-4bit-GGUF与19B/27B剪枝模型横向对比
Niwaki家族怎么选?Qwen3.6-11B-A3B-Niwaki-4bit-GGUF与19B/27B剪枝模型横向对比
Qwen3.6-11B-A3B-Niwaki-4bit-GGUF 是「Niwaki」剪枝模型家族的 GGUF 版本:把 MoE 大模型 Qwen3.6-35B-A3B 逐专家剪枝到 11B 总参 / 约 3B 激活,可在 llama.cpp 等本地推理框架直接运行。本文横向对比 11B / 19B / 27B 三档规格,给出日常聊天、代码开发、低显存机器三类场景的直接选择结论。
Niwaki家族是什么?把旗舰MoE“剪”成小模型
一句话:把 35B 总参的 MoE 大模型剪到 11B / 19B / 27B,让中小机器跑得动旗舰级能力。
- 基座模型:Qwen 团队的 Qwen3.6-35B-A3B(Apache 2.0),MoE 架构、每 token 激活约 3B 参数
- 剪枝思路(Niwaki,庭木):对每个路由专家按“它自身路由 token 实际用到的神经元”做宽度剪枝,再重构补偿、短暂蒸馏回补、以低精度存储
- 完整方法论文即将发布,当前模型规格与测试数据见 README.md
三款模型速览:11B / 19B / 27B 怎么选
| 模型 | 精度 | 体积 | 一句话定位 |
|---|---|---|---|
| 11B-A3B-Niwaki-4bit(本仓库) | 4bit | 5.9 / 7.0 GB | 小巧快部署,日常聊天与短文本输出 |
| 19B-A3B-Niwaki-2bit | 2bit | 以仓库文件列表为准 | 家族“干活位”,重度代码任务官方推荐 |
| 27B-A3B-Niwaki-2bit | 2bit | 以仓库文件列表为准 | 最接近 35B 基座,综合能力上限最高 |
三者同出 35B-A3B 基座,激活参数都约 3B——推理速度和 3B 小模型接近,能力上限却逼近旗舰 MoE。区别主要在路由专家保留多少:总参越小,剪得越狠,显存与速度优势越大,但代价也越大。
三种典型场景的选择结论
🗨️ 场景一:日常聊天、问答、写作 → 选 11B-4bit(本仓库) 官方测试确认聊天、推理、短文本写作“功能完备”(functional),且体积最小、部署门槛最低。
💻 场景二:大量长代码、代码 Agent → 选 19B-2bit 官方明确指出:持续长文件代码生成是 11B 的最弱项(长代码提示下多样性得分 0.62,更大的兄弟型号在 0.75 以上),输出容易“提前截断”。重度代码工作请上 19B。
🚀 场景三:想要最接近基座的能力,硬件允许 → 选 27B-2bit 总参最大、离 35B 基座最近,综合能力上限最高。
11B 两个量化版本,哪个更值得买
| 文件 | 体积 | wt2 ppl(512-ctx) | 特点 |
|---|---|---|---|
| Qwen3.6-11B-A3B-Niwaki-4bit-UD-Q3K.gguf ⭐ 推荐 | 5.9 GB | 18.29 ± 0.14 | 结构感知混合量化:骨干(注意力 / 共享专家 / embedding)保 Q6_K 高精度,剪枝专家走紧凑 q3_k |
| Qwen3.6-11B-A3B-Niwaki-4bit-Q4_K_M.gguf | 7.0 GB | 18.23 ± 0.14 | 统一 4bit,数字略好但体积大 20% |
同协议下基座 Qwen3.6-35B-A3B(Q8_0)为 6.95——困惑度升高是“激进剪枝 + 低比特”的必然代价,官方表示两套平台的相对排名一致。多数用户直接选 UD-Q3K:省约 20% 空间,质量持平或更好。
llama.cpp 运行方法(最快上手路径)
需要支持 Qwen3.6(混合线性注意力)的新版 llama.cpp:
# 单轮命令行
llama-cli -m Qwen3.6-11B-A3B-Niwaki-4bit-UD-Q3K.gguf -p "你的提示词" -n 256
# 或启动本地服务
llama-server -m Qwen3.6-11B-A3B-Niwaki-4bit-UD-Q3K.gguf
两点注意:
- 两个 .gguf 文件位于仓库根目录,直接从文件列表下载即可;
- 本转换未包含投机解码(MTP)草稿模块,速度走常规解码路径。
常见问题 FAQ
Q:8GB 显存能跑吗? UD-Q3K 权重 5.9GB,加上上下文开销,8GB 显存/统一内存的机器把上下文设适中即可流畅运行;Q4_K_M 会稍紧一些。
Q:为什么困惑度和基座差这么多? 35B 基座 Q8_0 是 6.95,11B 剪枝版是 18.2+,这是“旗舰能力、小身材”换来的质量代价;官方基准中相对排名一致,跨规格不建议只看绝对值。
Q:19B / 27B 的激活参数也是 3B 吗? 是的,家族命名中的 A3B 即每 token 激活约 3B,所以三档的推理速度档位接近,差异主要在专家容量(能力上限)与总参数占用(显存需求)。
总结:一句话选型号
| 你的需求 | 选择 |
|---|---|
| 快速部署、日常聊天写作 | 11B-4bit(UD-Q3K) |
| 重度代码、长文件生成 | 19B-2bit |
| 最接近基座、硬件够 | 27B-2bit |
Niwaki 家族证明了 MoE 大模型可以被“剪枝”到小模型身材而激活参数不减:用 3B 小模型的速度体验,拿到接近 35B 旗舰的能力上限。
