SenseNova-Loop-9B-Preview-GGUF 还能期待什么?mmproj 视觉塔、上游 PR 与 Atomic Chat 支持路线图

原创2026-11-12 17:38:111,269 阅读
文章标签:人工智能大模型模型量化本地部署多模态

SenseNova-Loop-9B-Preview-GGUF 还能期待什么?mmproj 视觉塔、上游 PR 与 Atomic Chat 支持路线图

SenseNova-Loop-9B-Preview-GGUF 是 AtomicChat 为新一代循环(looped)多模态大模型 SenseNova-Loop-9B-Preview 发布的 GGUF 量化文件,覆盖 BF16、Q8_0、Q6_K、Q5_K_M、Q4_K_M 五档精度,最低 8GB 显存即可跑起来。本文带你一次看懂它现在能做什么,以及未来最值得期待的三件事:mmproj 视觉塔、llama.cpp 上游支持 PR 与 Atomic Chat 引擎支持的落地路线图。

一、项目速览:一套循环架构的 GGUF 量化

简单说,这个项目把 SenseNova-Loop-9B-Preview 打包成了 5 个不同精度的 GGUF 文件,供 llama.cpp 生态直接加载。它的架构有几个鲜明特点:

  • Qwen3.5 级文本主干:混合注意力(3 层 Gated-DeltaNet 线性注意力 + 1 层全注意力)、QK-norm、注意力输出门、密集 SwiGLU FFN,词表 248320
  • 循环执行(Looped Schedule):第 4–27 层被执行两次,32 个存储层产生 56 次层计算,每次访问各自保留注意力 KV 与 GDN 循环状态
  • mHC 超连接:两条并行残差流 + 稠密路由(sigmoid 门 + Sinkhorn 双随机混合)替代普通残差相加;mHC 路由器权重保留 F32 以保证精度

量化文件怎么选?

文件 位宽/权重 磁盘大小 定位
SenseNova-Loop-9B-Preview-BF16.gguf 16.0 16.7 GB 参考基准 / 最高保真
SenseNova-Loop-9B-Preview-Q8_0.gguf ~8.5 8.9 GB 近无损,16 GB 显存轻松装下
SenseNova-Loop-9B-Preview-Q6_K.gguf ~6.6 6.9 GB 高质量
SenseNova-Loop-9B-Preview-Q5_K_M.gguf ~5.7 6.0 GB 均衡之选
SenseNova-Loop-9B-Preview-Q4_K_M.gguf ~4.9 5.2 GB 最小,约 8 GB 级显存可运行

文件清单详见 README.md。

二、如何运行:一条 llama-cli 命令跑起来

⚠️ 前置条件:需要带 SenseNova-Loop 支持的 llama.cpp 构建(详见下文"上游 PR"一节),原版构建暂不能加载这些文件。

llama-cli -m SenseNova-Loop-9B-Preview-Q6_K.gguf -ngl 99 -c 4096 -st \
  -p "What is the capital of France? Answer in one short sentence."

聊天模板(含思考模式)已内嵌在 GGUF 中,加载即用,无需额外配置。官方验证的贪心输出在推理、代码与多语言生成上表现连贯。完整运行说明见 README.md。

📦 文件获取提示:GGUF 文件通过 Git LFS 分发(见 .gitattributes 中的 LFS 配置),建议用 git clone 拉取完整文件:

git clone https://gitcode.com/hf_mirrors/AtomicChat/SenseNova-Loop-9B-Preview-GGUF

三、期待点一:mmproj 视觉塔,补上"多模态"的最后一块

目前发布的均为 text-only GGUF:原模型中的 MTP draft 块与视觉塔(mmproj)尚未打包进来。也就是说,"多模态"名号暂时只兑现了文本能力。

一旦 mmproj 视觉塔跟进发布,图像理解、图表解读等能力将被补齐,这才是这个 9B 模型完整的形态——这也是路线图里最直接的"增量价值"。相关说明见 README.md。

四、期待点二:llama.cpp 上游支持 PR 落地

sensenova_loop 是一种全新架构,上游 llama.cpp、LM Studio 与 Ollama 目前均不支持,原版构建加载会失败。这些量化文件基于 ggml-org/llama.cpp 提交 5047748f11 之上、新增 SenseNova-Loop 支持的构建制作并验证,上游支持 PR 正在等待评审。

这条 PR 落地的意义不小:

  1. 合并后,任意 llama.cpp 构建可直接加载,无需再自行打补丁
  2. LM Studio、Ollama 等下游工具可顺带受益
  3. 量化文件将从"需要特定构建"变成"开箱即用",普通用户门槛大幅降低

五、期待点三:Atomic Chat 引擎支持

README 中的官方表述是:"in progress (the engine needs this architecture; port underway)"——移植正在进行中。届时在 Atomic Chat 的图形界面中即可直接加载运行 SenseNova-Loop,不必再手动编译 llama.cpp 或敲命令。

架构细节(循环调度、mHC 双残差流)参考 README.md,Atomic Chat 进展说明见 README.md。

六、隐藏期待:更好的量化版本

这一版被明确定位为"Baseline preset quants(无 importance matrix、无布局调优)的快速首发",官方注明 improved quants to follow(改进版量化随后跟进)。后续带重要性矩阵与布局优化的量化,同位宽下的质量提升值得持续关注。

七、路线图一览表

事项 当前状态 落地后的收益
文本生成 ✅ 5 档 GGUF 已可用 8GB 显存即可本地运行
mmproj 视觉塔 ⏳ 后续跟进 补齐图像理解,实现真·多模态
llama.cpp 上游 PR ⏳ 等待评审 原版构建直接加载,LM Studio/Ollama 受益
Atomic Chat 支持 ⏳ 移植进行中 图形界面直接运行,零编译门槛
改进量化 ⏳ 后续发布 同位宽精度更高

八、许可与参考文件

  • 模型基于 Apache License 2.0 许可(底模为 SenseNova-Loop-9B-Preview),详见 LICENSE
  • 架构要点与运行参数:README.md
  • 量化文件清单:README.md

对本地部署爱好者来说,这个仓库的价值不只是"又一个 GGUF",而是循环 Transformer + mHC 这一新路线在开源推理生态中的第一份可运行样本。上游 PR 与 mmproj 落地之日,就是它从"尝鲜"走向"日常可用"之时。

登录后查看全文
SenseNova-Loop-9B-Preview-GGUF