SenseNova-Loop-9B-Preview-GGUF 深度解读:mHC 双流超连接与 Sinkhorn 路由的工作原理

原创2026-11-11 19:25:551,150 阅读
文章标签:人工智能大模型模型量化本地部署多模态

SenseNova-Loop-9B-Preview-GGUF 深度解读:mHC 双流超连接与 Sinkhorn 路由的工作原理

SenseNova-Loop-9B-Preview-GGUF 是 SenseNova-Loop-9B-Preview 循环多模态大模型的 GGUF 量化文件集合,由 AtomicChat 制作发布。它对模型最具创新性的 mHC 双流超连接(manifold-constrained hyper-connections) 与 Sinkhorn 路由 机制做了完整的本地化封装,让研究者可以在消费级显卡上亲手验证这一新架构。

📦 项目是什么:32 层“循环”出 56 次层计算

SenseNova-Loop 不是一个普通的 Transformer。它的文本主干属于 Qwen3.5 级别,但有一个关键差异:

  • 混合注意力:每 3 层 Gated-DeltaNet 线性注意力配 1 层全注意力
  • 循环调度(Looped Schedule):第 4~27 层的计算被执行两次,32 个存储层产生 56 次层计算
  • 每次循环独立维护状态:每轮访问都保留自己的注意力 KV 缓存和 GDN 循环状态

可以把它理解为“用更少的参数、做更多的计算”——同样的 9B 参数量,换来了更深的推理深度。

⚠️ 重要前提:需要打过补丁的 llama.cpp

这是一套新架构的模型(架构标识 sensenova_loop),上游 llama.cpp、LM Studio 和 Ollama 目前均不支持,原版构建无法加载这些文件。

该文件集基于 ggml-org/llama.cpp commit 5047748f11 之上添加了 SenseNova-Loop 支持的构建版本制作并验证通过,上游支持 PR 仍在进行中。因此:

  • 想跑通它,需要自行构建带 SenseNova-Loop 支持的 llama.cpp
  • 当前为纯文本 GGUF,视觉塔(mmproj)和 MTP 草稿块暂未包含

🔀 mHC 双流超连接:残差连接的新玩法

传统 Transformer 里,每层的输出直接加回主干(残差连接)。SenseNova-Loop 的 mHC 把这条“直路”升级成了一条“高速公路网络”:

  1. 双流并行:在循环区域内,残差信号走两条并行的流,而不是单一主干
  2. 密集路由替代简单相加:普通残差是 输出 = 输入 + 层输出,mHC 则用一个密集路由器(router)计算一个双随机归一化(doubly-stochastic)的混合矩阵,把双流信号按学到的权重精确融合
  3. sigmoid 前后门控:路由前后各有一组 sigmoid 门控,调节信息的“流量”
  4. 流形约束(manifold-constrained):混合矩阵被约束在特定的流形上,保证信息流动稳定不发散

💡 一句话理解:普通残差是“水管直接串接”,mHC 是“带调度信号的交通网络”,由路由器决定每个位置、每个通道该走哪条流。

🧭 Sinkhorn 路由:让权重“行列和都为 1”

mHC 混合矩阵的归一化用的是 Sinkhorn 算法——一个经典的迭代平衡算法,交替对矩阵的行和列做归一化,最终得到行和、列和都等于 1 的双随机矩阵。

为什么这一步很关键?

  • 数值稳定:双随机矩阵天然保持信号的总能量不放大也不衰减,多层循环叠加后也不会“爆炸”
  • 可学习:路由权重是可训练参数,模型自己学会在哪里“分流”
  • 对精度极度敏感:正因如此,本项目将 mHC 路由权重保留在 F32 全精度,不做量化——这是保证路由行为与原版一致的关键细节

📊 五个量化档位怎么选

文件 位深 磁盘大小 定位
SenseNova-Loop-9B-Preview-BF16.gguf 16.0 16.7 GB 参考级,最高保真度
SenseNova-Loop-9B-Preview-Q8_0.gguf ~8.5 8.9 GB 近乎无损,16 GB 显存轻松装下
SenseNova-Loop-9B-Preview-Q6_K.gguf ~6.6 6.9 GB 高质量,性价比之选
SenseNova-Loop-9B-Preview-Q5_K_M.gguf ~5.7 6.0 GB 均衡
SenseNova-Loop-9B-Preview-Q4_K_M.gguf ~4.9 5.2 GB 最小体积,~8 GB 级显卡可跑

📌 这批为基线预设量化(未使用重要性矩阵和布局调优),后续会推出更精细的版本。选型建议:显存 16 GB 选 Q8_0,8 GB 显卡选 Q4_K_M。

🚀 快速上手:一条命令本地推理

构建好带 SenseNova-Loop 支持的 llama.cpp 后,即可运行(聊天模板已内嵌在 GGUF 中):

llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
  -p "What is the capital of France? Answer in one short sentence."

在 BF16 参考文件上的贪心解码验证结果:推理连贯,代码与多语言生成正常(例如火车相遇应用题正确解出 80 km/h,"法国首都" 正确回答 Paris)。

如需获取完整文件集,可以克隆仓库:

git clone https://gitcode.com/hf_mirrors/AtomicChat/SenseNova-Loop-9B-Preview-GGUF

❓ 新手常见疑问

Q1:为什么路由器要用 F32,其他权重却量化了? 路由矩阵参与双随机归一化计算,量化误差会破坏行列平衡,进而影响整个信息流的稳定性。保留 F32 成本极低(参数量很小),却是保真的关键。

Q2:有视觉(多模态)版本吗? 当前这批是纯文本 GGUF。视觉塔 mmproj 和 MTP 草稿块是后续工作,尚未包含在内。

Q3:LM Studio / Ollama 能直接用吗? 暂时不能。这两个工具依赖上游 llama.cpp,而 SenseNova-Loop 架构的上游支持 PR 还在推进中,需等待合入。

Q4:Atomic Chat 支持情况? 正在移植中——引擎需要先支持这个新架构。

📝 小结

SenseNova-Loop-9B-Preview-GGUF 的价值不仅在于“又一个 9B 量化模型”,更在于它是研究 循环 Transformer + mHC 双流超连接 + Sinkhorn 路由 这条新架构路线的可用载体。理解“32 层循环出 56 次计算”的调度设计和“双随机矩阵替代残差相加”的路由机制,是读懂下一代高效模型架构的好起点。

📄 更多细节请参考仓库内文档:

  • 完整说明:README.md
  • 授权协议(Apache License 2.0):LICENSE
  • 基础模型:sensenova/SenseNova-Loop-9B-Preview(量化发布方:AtomicChat)
登录后查看全文
SenseNova-Loop-9B-Preview-GGUF