SenseNova-Loop-9B-Preview-GGUF 还能期待什么?mmproj 视觉塔、上游 PR 与 Atomic Chat 支持路线图
SenseNova-Loop-9B-Preview-GGUF 还能期待什么?mmproj 视觉塔、上游 PR 与 Atomic Chat 支持路线图
SenseNova-Loop-9B-Preview-GGUF 是 AtomicChat 为新一代循环(looped)多模态大模型 SenseNova-Loop-9B-Preview 发布的 GGUF 量化文件,覆盖 BF16、Q8_0、Q6_K、Q5_K_M、Q4_K_M 五档精度,最低 8GB 显存即可跑起来。本文带你一次看懂它现在能做什么,以及未来最值得期待的三件事:mmproj 视觉塔、llama.cpp 上游支持 PR 与 Atomic Chat 引擎支持的落地路线图。
一、项目速览:一套循环架构的 GGUF 量化
简单说,这个项目把 SenseNova-Loop-9B-Preview 打包成了 5 个不同精度的 GGUF 文件,供 llama.cpp 生态直接加载。它的架构有几个鲜明特点:
- Qwen3.5 级文本主干:混合注意力(3 层 Gated-DeltaNet 线性注意力 + 1 层全注意力)、QK-norm、注意力输出门、密集 SwiGLU FFN,词表 248320
- 循环执行(Looped Schedule):第 4–27 层被执行两次,32 个存储层产生 56 次层计算,每次访问各自保留注意力 KV 与 GDN 循环状态
- mHC 超连接:两条并行残差流 + 稠密路由(sigmoid 门 + Sinkhorn 双随机混合)替代普通残差相加;mHC 路由器权重保留 F32 以保证精度
量化文件怎么选?
| 文件 | 位宽/权重 | 磁盘大小 | 定位 |
|---|---|---|---|
SenseNova-Loop-9B-Preview-BF16.gguf |
16.0 | 16.7 GB | 参考基准 / 最高保真 |
SenseNova-Loop-9B-Preview-Q8_0.gguf |
~8.5 | 8.9 GB | 近无损,16 GB 显存轻松装下 |
SenseNova-Loop-9B-Preview-Q6_K.gguf |
~6.6 | 6.9 GB | 高质量 |
SenseNova-Loop-9B-Preview-Q5_K_M.gguf |
~5.7 | 6.0 GB | 均衡之选 |
SenseNova-Loop-9B-Preview-Q4_K_M.gguf |
~4.9 | 5.2 GB | 最小,约 8 GB 级显存可运行 |
文件清单详见 README.md。
二、如何运行:一条 llama-cli 命令跑起来
⚠️ 前置条件:需要带 SenseNova-Loop 支持的 llama.cpp 构建(详见下文"上游 PR"一节),原版构建暂不能加载这些文件。
llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
-p "What is the capital of France? Answer in one short sentence."
聊天模板(含思考模式)已内嵌在 GGUF 中,加载即用,无需额外配置。官方验证的贪心输出在推理、代码与多语言生成上表现连贯。完整运行说明见 README.md。
📦 文件获取提示:GGUF 文件通过 Git LFS 分发(见 .gitattributes 中的 LFS 配置),建议用 git clone 拉取完整文件:
git clone https://gitcode.com/hf_mirrors/AtomicChat/SenseNova-Loop-9B-Preview-GGUF
三、期待点一:mmproj 视觉塔,补上"多模态"的最后一块
目前发布的均为 text-only GGUF:原模型中的 MTP draft 块与视觉塔(mmproj)尚未打包进来。也就是说,"多模态"名号暂时只兑现了文本能力。
一旦 mmproj 视觉塔跟进发布,图像理解、图表解读等能力将被补齐,这才是这个 9B 模型完整的形态——这也是路线图里最直接的"增量价值"。相关说明见 README.md。
四、期待点二:llama.cpp 上游支持 PR 落地
sensenova_loop 是一种全新架构,上游 llama.cpp、LM Studio 与 Ollama 目前均不支持,原版构建加载会失败。这些量化文件基于 ggml-org/llama.cpp 提交 5047748f11 之上、新增 SenseNova-Loop 支持的构建制作并验证,上游支持 PR 正在等待评审。
这条 PR 落地的意义不小:
- 合并后,任意 llama.cpp 构建可直接加载,无需再自行打补丁
- LM Studio、Ollama 等下游工具可顺带受益
- 量化文件将从"需要特定构建"变成"开箱即用",普通用户门槛大幅降低
五、期待点三:Atomic Chat 引擎支持
README 中的官方表述是:"in progress (the engine needs this architecture; port underway)"——移植正在进行中。届时在 Atomic Chat 的图形界面中即可直接加载运行 SenseNova-Loop,不必再手动编译 llama.cpp 或敲命令。
架构细节(循环调度、mHC 双残差流)参考 README.md,Atomic Chat 进展说明见 README.md。
六、隐藏期待:更好的量化版本
这一版被明确定位为"Baseline preset quants(无 importance matrix、无布局调优)的快速首发",官方注明 improved quants to follow(改进版量化随后跟进)。后续带重要性矩阵与布局优化的量化,同位宽下的质量提升值得持续关注。
七、路线图一览表
| 事项 | 当前状态 | 落地后的收益 |
|---|---|---|
| 文本生成 | ✅ 5 档 GGUF 已可用 | 8GB 显存即可本地运行 |
| mmproj 视觉塔 | ⏳ 后续跟进 | 补齐图像理解,实现真·多模态 |
| llama.cpp 上游 PR | ⏳ 等待评审 | 原版构建直接加载,LM Studio/Ollama 受益 |
| Atomic Chat 支持 | ⏳ 移植进行中 | 图形界面直接运行,零编译门槛 |
| 改进量化 | ⏳ 后续发布 | 同位宽精度更高 |
八、许可与参考文件
- 模型基于 Apache License 2.0 许可(底模为 SenseNova-Loop-9B-Preview),详见 LICENSE
- 架构要点与运行参数:README.md
- 量化文件清单:README.md
对本地部署爱好者来说,这个仓库的价值不只是"又一个 GGUF",而是循环 Transformer + mHC 这一新路线在开源推理生态中的第一份可运行样本。上游 PR 与 mmproj 落地之日,就是它从"尝鲜"走向"日常可用"之时。