SenseNova-Loop-9B-Preview-GGUF 量化工艺深潜:基线 Quants 制作细节,mHC 路由器为何必须保持 F32
SenseNova-Loop-9B-Preview-GGUF 量化工艺深潜:基线 Quants 制作细节,mHC 路由器为何必须保持 F32
本文带你快速搞懂 SenseNova-Loop-9B-Preview-GGUF 量化模型的制作细节:项目提供了 BF16、Q8_0、Q6_K、Q5_K_M、Q4_K_M 五档量化 GGUF 文件,并解释了为什么 mHC 路由器权重必须保持 F32 精度。无论你用多大的显卡,都能从中找到适合的一档。
📦 五档量化文件一览
仓库内直接放置了 5 个 GGUF 文件,覆盖从"最高保真"到"小显存也能跑"的完整区间:
| 文件 | 每权重位数 | 磁盘大小 | 定位 |
|---|---|---|---|
| SenseNova-Loop-9B-Preview-BF16.gguf | 16.0 | 16.7 GB | 参考基线 / 最高保真 |
| SenseNova-Loop-9B-Preview-Q8_0.gguf | ~8.5 | 8.9 GB | 近乎无损,16 GB 显存轻松放下 |
| SenseNova-Loop-9B-Preview-Q6_K.gguf | ~6.6 | 6.9 GB | 高质量 |
| SenseNova-Loop-9B-Preview-Q5_K_M.gguf | ~5.7 | 6.0 GB | 均衡之选 |
| SenseNova-Loop-9B-Preview-Q4_K_M.gguf | ~4.9 | 5.2 GB | 最小体积,~8 GB 级显卡即可运行 |
几个实用选档建议:
- 追求接近原模型效果 → 选 Q8_0,8.9 GB 就能获得近乎无损的体验;
- 显存 12 GB 左右 → Q6_K 或 Q5_K_M 是稳妥区间;
- 8 GB 级显卡或纯 CPU → Q4_K_M,5.2 GB 的体积门槛最低;
- 需要对照验证输出 → 用 BF16 做基准,README 中提到的贪心解码验证(如"法国首都 → Paris"、追及问题 → 80 km/h)就是在 BF16 上完成的。
🛠 量化工艺深潜:为什么这是"基线 Quants"
README.md 中对这批文件的定位很明确:Baseline preset quants(基线预设量化)。这句话对新手来说是关键信息,它意味着本次发布遵循了三条原则:
- 无 importance matrix(无重要性矩阵):没有对张量做重要性排序后混合精度,所有权重按预设档位统一量化;
- 无 layout tuning(无布局调优):没有针对不同层/张量手工调整量化格式的组合;
- 唯一例外:mHC 路由器保持 F32——这是架构决定的硬约束,后面详述。
也就是说,这批文件的目标是快速首发(fast first release),用 llama.cpp 内置的标准预设(如 Q4_K_M、Q6_K 等 K-quant 家族)一把量化到位,而非逐层精调。README 同时预告 improved quants to follow——后续会跟进利用 importance matrix 的优化版量化,新手现在先用基线版即可,不影响日常对话与推理体验。
这种"预设档位 + 单一例外"的做法还有一个好处:量化过程可复现、可对比。任何熟悉 llama.cpp 的用户,只要拿到同一底模,用同一档位参数就能得到同体积的文件,方便社区交叉验证。
🧠 架构速览:先看模型长什么样,才懂量化规则
量化策略不是凭空设计的,它来自 SenseNova-Loop 的架构特性。按 README.md 的 Architecture notes,这个模型有几个"非常规"之处:
- 文本骨干是 Qwen3.5 级别:混合注意力(每 3 层 Gated-DeltaNet 线性注意力配 1 层全注意力)、QK-norm、注意力输出门、交错 M-RoPE(
partial_rotary_factor= 0.25)、稠密 SwiGLU FFN,词表 248320; - 循环调度(Looped schedule):
loop_start=4、loop_end=28,第 4–27 层被执行两次——存储 32 层、实际执行 56 次层计算,每次遍历各自保留独立的注意力 KV 和 GDN 循环状态; - mHC(流形约束超连接):在循环区域内有两条并行残差流,用一个稠密路由器(sigmoid 前/后门控 + Sinkhorn 归一化的双随机混合矩阵)取代了普通的残差直接相加。
⚠️ 正因为架构新(
sensenova_loop),原版 llama.cpp、LM Studio 和 Ollama 目前无法加载这些文件,需要使用增加了 SenseNova-Loop 支持、基于ggml-org/llama.cpp提交5047748f11的打补丁构建。
🎯 核心问题:mHC 路由器为何必须保持 F32
这是整篇深潜的重点。README 只给了一句话——"The mHC routers are kept in F32 (routing is precision-sensitive)",展开来看,原因是三层叠加:
1. 路由器决定的是"信息怎么流",而不是"信息是什么"
普通 FFN 或注意力权重算错了,影响的是某个 token 的表征质量,误差会被后续层逐步平滑吸收。但 mHC 路由器决定的是两条残差流的混合比例——它输出的是一个 Sinkhorn 归一化的双随机矩阵,直接控制每个位置"从哪条流取多少信号"。路由比例偏差一点,误差就会沿残差路径逐层放大,而不是被稀释。
2. Sinkhorn 归一化对数值精度极其敏感
Sinkhorn 迭代交替对矩阵的行和列做指数归一化,让结果逼近双随机矩阵。指数函数对输入的小扰动会做指数级放大:同样一个 1e-3 的权重量化误差,作用在普通激活上是噪声,作用在指数归一化链条上就可能把混合比例推出合理区间。量化后的低比特权重(如 Q4 只有约 4.9 bit)根本喂不起这套迭代。
3. 循环执行两次,误差会二次累积
SenseNova-Loop 的 4–27 层要执行两遍,mHC 路由器每一遍都在工作。一次遍历中的路由抖动,会被第二次遍历继续读取并放大。保持 F32 等于把"路由决策"这个最高杠杆的环节钉死在最高精度上,让量化只作用于"内容计算"(FFN、注意力权重等可被后续层吸收误差的部分)。
一句话总结:FFN 量化丢的是细节,路由器量化丢的是方向——方向错了,细节再清晰也没用。这也是为什么你在文件表里看不到任何针对路由器的量化档位:它是全模型中唯一"豁免"的部件。
🚀 如何运行:最快配置方法
先构建带 SenseNova-Loop 支持的 llama.cpp,然后一条命令即可(取自 README.md):
llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
-p "What is the capital of France? Answer in one short sentence."
要点提示:
-ngl 99表示尽量把全部层放进 GPU;显存不够就调低,或换 Q5_K_M / Q4_K_M 档位;-c 4096为上下文长度,按显存余量增减;- 对话模板(含 thinking 模式)已内嵌在 GGUF 中,无需额外配置。
当前这批是纯文本 GGUF:视觉塔(mmproj)和 MTP draft 块尚未包含,属于后续跟进内容;Atomic Chat 的引擎移植也在进行中。底模遵循 Apache License 2.0(见 LICENSE),由 AtomicChat 完成量化并发布。
📌 总结
- SenseNova-Loop-9B-Preview-GGUF 提供 BF16 → Q4_K_M 五档量化,5.2 GB 到 16.7 GB 覆盖主流硬件;
- 本批为基线预设量化:无 importance matrix、无布局调优,追求可复现与快速首发,优化版量化后续跟进;
- mHC 路由器保持 F32 是架构级的精度约束:路由比例经 Sinkhorn 归一化对误差指数敏感,且循环执行两遍会累积抖动;
- 运行前提是使用带
sensenova_loop支持的 llama.cpp 补丁构建,原版推理工具暂不可用。