SenseNova-Loop-9B-Preview-GGUF 全解析:循环Transformer+流形约束超连接,本地大模型迎来新架构突破
SenseNova-Loop-9B-Preview-GGUF 全解析:循环Transformer+流形约束超连接,本地大模型迎来新架构突破
SenseNova-Loop-9B-Preview-GGUF 是由 AtomicChat 发布的一组 GGUF 量化模型文件,源自商汤 SenseNova 团队的 9B 级多模态模型 SenseNova-Loop-9B-Preview。它采用了 循环 Transformer(Looped Transformer)+ 流形约束超连接(mHC) 的全新架构组合,为本地大模型部署带来了一次值得关注的架构突破。本文带你快速看懂这套模型的核心原理、5 个量化文件怎么选,以及如何用 llama.cpp 在本地跑起来。
🧠 什么是"循环Transformer + 流形约束超连接"
这套架构最大的看点,在于用更少的存储层换来了更多的计算深度。
循环执行的层调度
传统 Transformer 每层只走一遍,而 SenseNova-Loop 的 第 4 层到第 27 层会被执行两次:
- 只保存 32 个层参数,却完成 56 次层计算(loop_start=4,loop_end=28,执行 2 遍);
- 每次"回访"都保留自己独立的注意力 KV 缓存和 Gated-DeltaNet 循环状态,互不干扰;
- 相当于用"跑两遍"的深度,换来更强的推理能力,同时控制模型体积。
流形约束超连接(mHC)
在循环区域内,模型用 两条并行的残差流 替代了普通的"直接相加"残差连接:
- 一条稠密路由器(sigmoid 前置/后置门控 + Sinkhorn 归一化的双随机矩阵混合)来决定两条流的融合方式;
- 这种"流形约束"让信息在两条流之间更平滑地流转,路由权重保持 F32 精度以保证路由稳定;
- mHC 的路由器权重在量化时也特意保留为 F32,因为路由对精度非常敏感。
文本主干:Qwen3.5 级别的设计
文本主干融合了多种现代设计(详见 README.md 的 Architecture notes):
| 设计点 | 说明 |
|---|---|
| 混合注意力 | 每 3 层 Gated-DeltaNet 线性注意力配 1 层全注意力 |
| QK-norm + 注意力输出门控 | 提升训练稳定性与输出可控性 |
| M-RoPE | 交错旋转位置编码,partial_rotary_factor 为 0.25 |
| SwiGLU FFN | 稠密前馈网络,词表规模 248320 |
📦 五个 GGUF 文件怎么选
仓库包含 5 个基线预设量化版本(无重要性矩阵、无布局调优,属快速首发版本,优化版量化后续跟进)。各文件相对路径如下:
| 文件 | 位宽 | 体积 | 定位 |
|---|---|---|---|
| SenseNova-Loop-9B-Preview-BF16.gguf | 16.0 | 16.7 GB | 参考基准 / 最高保真度 |
| SenseNova-Loop-9B-Preview-Q8_0.gguf | ~8.5 | 8.9 GB | 近无损,16 GB 显存轻松装下 |
| SenseNova-Loop-9B-Preview-Q6_K.gguf | ~6.6 | 6.9 GB | 高质量首选 |
| SenseNova-Loop-9B-Preview-Q5_K_M.gguf | ~5.7 | 6.0 GB | 均衡之选 |
| SenseNova-Loop-9B-Preview-Q4_K_M.gguf | ~4.9 | 5.2 GB | 最小体积,~8 GB 级显卡可跑 |
选型建议:显存 ≥ 16 GB 选 Q8_0 几乎无损;8~12 GB 显卡选 Q5_K_M 或 Q4_K_M,性价比最高。
⚠️ 重要提醒:必须使用打过补丁的 llama.cpp
这是新手最容易踩的坑:SenseNova-Loop 属于 sensenova_loop 新架构,上游 llama.cpp、LM Studio 和 Ollama 目前均不支持,原生版本无法加载这些文件。
这些 GGUF 是在一个新增 SenseNova-Loop 支持的 llama.cpp 构建中生成并验证的(基于上游 ggml-org/llama.cpp 提交 5047748f11,上游支持 PR 已在推进中)。也就是说:
- 你需要先构建带 SenseNova-Loop 支持的 llama.cpp;
- 再加载下面的 GGUF 文件即可运行。
🚀 本地运行最快步骤
第一步:克隆仓库
git clone https://gitcode.com/hf_mirrors/AtomicChat/SenseNova-Loop-9B-Preview-GGUF
模型文件通过 Git LFS 分发(见 .gitattributes),单文件最大 16.7 GB,建议使用
git lfs pull或直接下载所需量化文件。
第二步:加载模型并对话
以 Q6_K 为例(命令来自 README.md):
llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
-p "What is the capital of France? Answer in one short sentence."
参数说明:
-m:指定 GGUF 模型文件-ngl 99:全部层放入 GPU-c 4096:上下文长度 4096-st:启用流式输出- 聊天模板(含思考模式)已内嵌在 GGUF 中,无需额外配置
验证效果:官方在 BF16 上已验证贪心解码输出连贯——"法国首都"问答正确输出 Paris,火车速度应用题正确解出 80 km/h,代码生成与多语言生成表现稳定。
📌 现状与后续
- 纯文本版:当前 GGUF 仅包含文本部分,MTP 草稿块与视觉塔(mmproj)暂未收录,视觉能力属后续跟进计划;
- Atomic Chat 支持:引擎侧的架构移植正在进行中;
- 开源协议:Apache License 2.0(见 LICENSE),可自由用于研究与商业场景。
写在最后
SenseNova-Loop-9B-Preview-GGUF 的意义不只是"又一份 9B 量化",而是让 循环 Transformer + 流形约束超连接 这一新架构第一次以 GGUF 形式走进普通开发者的本地环境。5.2 GB 的 Q4_K_M 版本即可在 8 GB 显卡上体验"32 层存储、56 层计算"的新范式——等上游 llama.cpp 正式支持后,这套架构有望成为本地大模型部署的新选项。