SenseNova-Loop-9B-Preview-GGUF 深度解读:mHC 双流超连接与 Sinkhorn 路由的工作原理
SenseNova-Loop-9B-Preview-GGUF 深度解读:mHC 双流超连接与 Sinkhorn 路由的工作原理
SenseNova-Loop-9B-Preview-GGUF 是 SenseNova-Loop-9B-Preview 循环多模态大模型的 GGUF 量化文件集合,由 AtomicChat 制作发布。它对模型最具创新性的 mHC 双流超连接(manifold-constrained hyper-connections) 与 Sinkhorn 路由 机制做了完整的本地化封装,让研究者可以在消费级显卡上亲手验证这一新架构。
📦 项目是什么:32 层“循环”出 56 次层计算
SenseNova-Loop 不是一个普通的 Transformer。它的文本主干属于 Qwen3.5 级别,但有一个关键差异:
- 混合注意力:每 3 层 Gated-DeltaNet 线性注意力配 1 层全注意力
- 循环调度(Looped Schedule):第 4~27 层的计算被执行两次,32 个存储层产生 56 次层计算
- 每次循环独立维护状态:每轮访问都保留自己的注意力 KV 缓存和 GDN 循环状态
可以把它理解为“用更少的参数、做更多的计算”——同样的 9B 参数量,换来了更深的推理深度。
⚠️ 重要前提:需要打过补丁的 llama.cpp
这是一套新架构的模型(架构标识 sensenova_loop),上游 llama.cpp、LM Studio 和 Ollama 目前均不支持,原版构建无法加载这些文件。
该文件集基于 ggml-org/llama.cpp commit 5047748f11 之上添加了 SenseNova-Loop 支持的构建版本制作并验证通过,上游支持 PR 仍在进行中。因此:
- 想跑通它,需要自行构建带 SenseNova-Loop 支持的 llama.cpp
- 当前为纯文本 GGUF,视觉塔(
mmproj)和 MTP 草稿块暂未包含
🔀 mHC 双流超连接:残差连接的新玩法
传统 Transformer 里,每层的输出直接加回主干(残差连接)。SenseNova-Loop 的 mHC 把这条“直路”升级成了一条“高速公路网络”:
- 双流并行:在循环区域内,残差信号走两条并行的流,而不是单一主干
- 密集路由替代简单相加:普通残差是
输出 = 输入 + 层输出,mHC 则用一个密集路由器(router)计算一个双随机归一化(doubly-stochastic)的混合矩阵,把双流信号按学到的权重精确融合 - sigmoid 前后门控:路由前后各有一组 sigmoid 门控,调节信息的“流量”
- 流形约束(manifold-constrained):混合矩阵被约束在特定的流形上,保证信息流动稳定不发散
💡 一句话理解:普通残差是“水管直接串接”,mHC 是“带调度信号的交通网络”,由路由器决定每个位置、每个通道该走哪条流。
🧭 Sinkhorn 路由:让权重“行列和都为 1”
mHC 混合矩阵的归一化用的是 Sinkhorn 算法——一个经典的迭代平衡算法,交替对矩阵的行和列做归一化,最终得到行和、列和都等于 1 的双随机矩阵。
为什么这一步很关键?
- 数值稳定:双随机矩阵天然保持信号的总能量不放大也不衰减,多层循环叠加后也不会“爆炸”
- 可学习:路由权重是可训练参数,模型自己学会在哪里“分流”
- 对精度极度敏感:正因如此,本项目将 mHC 路由权重保留在 F32 全精度,不做量化——这是保证路由行为与原版一致的关键细节
📊 五个量化档位怎么选
| 文件 | 位深 | 磁盘大小 | 定位 |
|---|---|---|---|
| SenseNova-Loop-9B-Preview-BF16.gguf | 16.0 | 16.7 GB | 参考级,最高保真度 |
| SenseNova-Loop-9B-Preview-Q8_0.gguf | ~8.5 | 8.9 GB | 近乎无损,16 GB 显存轻松装下 |
| SenseNova-Loop-9B-Preview-Q6_K.gguf | ~6.6 | 6.9 GB | 高质量,性价比之选 |
| SenseNova-Loop-9B-Preview-Q5_K_M.gguf | ~5.7 | 6.0 GB | 均衡 |
| SenseNova-Loop-9B-Preview-Q4_K_M.gguf | ~4.9 | 5.2 GB | 最小体积,~8 GB 级显卡可跑 |
📌 这批为基线预设量化(未使用重要性矩阵和布局调优),后续会推出更精细的版本。选型建议:显存 16 GB 选 Q8_0,8 GB 显卡选 Q4_K_M。
🚀 快速上手:一条命令本地推理
构建好带 SenseNova-Loop 支持的 llama.cpp 后,即可运行(聊天模板已内嵌在 GGUF 中):
llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
-p "What is the capital of France? Answer in one short sentence."
在 BF16 参考文件上的贪心解码验证结果:推理连贯,代码与多语言生成正常(例如火车相遇应用题正确解出 80 km/h,"法国首都" 正确回答 Paris)。
如需获取完整文件集,可以克隆仓库:
git clone https://gitcode.com/hf_mirrors/AtomicChat/SenseNova-Loop-9B-Preview-GGUF
❓ 新手常见疑问
Q1:为什么路由器要用 F32,其他权重却量化了? 路由矩阵参与双随机归一化计算,量化误差会破坏行列平衡,进而影响整个信息流的稳定性。保留 F32 成本极低(参数量很小),却是保真的关键。
Q2:有视觉(多模态)版本吗?
当前这批是纯文本 GGUF。视觉塔 mmproj 和 MTP 草稿块是后续工作,尚未包含在内。
Q3:LM Studio / Ollama 能直接用吗? 暂时不能。这两个工具依赖上游 llama.cpp,而 SenseNova-Loop 架构的上游支持 PR 还在推进中,需等待合入。
Q4:Atomic Chat 支持情况? 正在移植中——引擎需要先支持这个新架构。
📝 小结
SenseNova-Loop-9B-Preview-GGUF 的价值不仅在于“又一个 9B 量化模型”,更在于它是研究 循环 Transformer + mHC 双流超连接 + Sinkhorn 路由 这条新架构路线的可用载体。理解“32 层循环出 56 次计算”的调度设计和“双随机矩阵替代残差相加”的路由机制,是读懂下一代高效模型架构的好起点。
📄 更多细节请参考仓库内文档: