SenseNova-Loop-9B-Preview-GGUF 全解析:循环Transformer+流形约束超连接,本地大模型迎来新架构突破

原创2026-11-11 19:09:251,944 阅读
文章标签:人工智能大模型模型量化本地部署多模态

SenseNova-Loop-9B-Preview-GGUF 全解析:循环Transformer+流形约束超连接,本地大模型迎来新架构突破

SenseNova-Loop-9B-Preview-GGUF 是由 AtomicChat 发布的一组 GGUF 量化模型文件,源自商汤 SenseNova 团队的 9B 级多模态模型 SenseNova-Loop-9B-Preview。它采用了 循环 Transformer(Looped Transformer)+ 流形约束超连接(mHC) 的全新架构组合,为本地大模型部署带来了一次值得关注的架构突破。本文带你快速看懂这套模型的核心原理、5 个量化文件怎么选,以及如何用 llama.cpp 在本地跑起来。

🧠 什么是"循环Transformer + 流形约束超连接"

这套架构最大的看点,在于用更少的存储层换来了更多的计算深度。

循环执行的层调度

传统 Transformer 每层只走一遍,而 SenseNova-Loop 的 第 4 层到第 27 层会被执行两次:

  • 只保存 32 个层参数,却完成 56 次层计算(loop_start=4,loop_end=28,执行 2 遍);
  • 每次"回访"都保留自己独立的注意力 KV 缓存和 Gated-DeltaNet 循环状态,互不干扰;
  • 相当于用"跑两遍"的深度,换来更强的推理能力,同时控制模型体积。

流形约束超连接(mHC)

在循环区域内,模型用 两条并行的残差流 替代了普通的"直接相加"残差连接:

  • 一条稠密路由器(sigmoid 前置/后置门控 + Sinkhorn 归一化的双随机矩阵混合)来决定两条流的融合方式;
  • 这种"流形约束"让信息在两条流之间更平滑地流转,路由权重保持 F32 精度以保证路由稳定;
  • mHC 的路由器权重在量化时也特意保留为 F32,因为路由对精度非常敏感。

文本主干:Qwen3.5 级别的设计

文本主干融合了多种现代设计(详见 README.md 的 Architecture notes):

设计点 说明
混合注意力 每 3 层 Gated-DeltaNet 线性注意力配 1 层全注意力
QK-norm + 注意力输出门控 提升训练稳定性与输出可控性
M-RoPE 交错旋转位置编码,partial_rotary_factor 为 0.25
SwiGLU FFN 稠密前馈网络,词表规模 248320

📦 五个 GGUF 文件怎么选

仓库包含 5 个基线预设量化版本(无重要性矩阵、无布局调优,属快速首发版本,优化版量化后续跟进)。各文件相对路径如下:

文件 位宽 体积 定位
SenseNova-Loop-9B-Preview-BF16.gguf 16.0 16.7 GB 参考基准 / 最高保真度
SenseNova-Loop-9B-Preview-Q8_0.gguf ~8.5 8.9 GB 近无损,16 GB 显存轻松装下
SenseNova-Loop-9B-Preview-Q6_K.gguf ~6.6 6.9 GB 高质量首选
SenseNova-Loop-9B-Preview-Q5_K_M.gguf ~5.7 6.0 GB 均衡之选
SenseNova-Loop-9B-Preview-Q4_K_M.gguf ~4.9 5.2 GB 最小体积,~8 GB 级显卡可跑

选型建议:显存 ≥ 16 GB 选 Q8_0 几乎无损;8~12 GB 显卡选 Q5_K_M 或 Q4_K_M,性价比最高。

⚠️ 重要提醒:必须使用打过补丁的 llama.cpp

这是新手最容易踩的坑:SenseNova-Loop 属于 sensenova_loop 新架构,上游 llama.cpp、LM Studio 和 Ollama 目前均不支持,原生版本无法加载这些文件。

这些 GGUF 是在一个新增 SenseNova-Loop 支持的 llama.cpp 构建中生成并验证的(基于上游 ggml-org/llama.cpp 提交 5047748f11,上游支持 PR 已在推进中)。也就是说:

  1. 你需要先构建带 SenseNova-Loop 支持的 llama.cpp;
  2. 再加载下面的 GGUF 文件即可运行。

🚀 本地运行最快步骤

第一步:克隆仓库

git clone https://gitcode.com/hf_mirrors/AtomicChat/SenseNova-Loop-9B-Preview-GGUF

模型文件通过 Git LFS 分发(见 .gitattributes),单文件最大 16.7 GB,建议使用 git lfs pull 或直接下载所需量化文件。

第二步:加载模型并对话

以 Q6_K 为例(命令来自 README.md):

llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
  -p "What is the capital of France? Answer in one short sentence."

参数说明:

  • -m:指定 GGUF 模型文件
  • -ngl 99:全部层放入 GPU
  • -c 4096:上下文长度 4096
  • -st:启用流式输出
  • 聊天模板(含思考模式)已内嵌在 GGUF 中,无需额外配置

验证效果:官方在 BF16 上已验证贪心解码输出连贯——"法国首都"问答正确输出 Paris,火车速度应用题正确解出 80 km/h,代码生成与多语言生成表现稳定。

📌 现状与后续

  • 纯文本版:当前 GGUF 仅包含文本部分,MTP 草稿块与视觉塔(mmproj)暂未收录,视觉能力属后续跟进计划;
  • Atomic Chat 支持:引擎侧的架构移植正在进行中;
  • 开源协议:Apache License 2.0(见 LICENSE),可自由用于研究与商业场景。

写在最后

SenseNova-Loop-9B-Preview-GGUF 的意义不只是"又一份 9B 量化",而是让 循环 Transformer + 流形约束超连接 这一新架构第一次以 GGUF 形式走进普通开发者的本地环境。5.2 GB 的 Q4_K_M 版本即可在 8 GB 显卡上体验"32 层存储、56 层计算"的新范式——等上游 llama.cpp 正式支持后,这套架构有望成为本地大模型部署的新选项。

登录后查看全文
SenseNova-Loop-9B-Preview-GGUF