深入SenseNova-U1.5-8B-MoT-bf16架构原理:MoT混合Transformer+像素空间流生成如何抛弃VAE

原创2026-10-18 15:32:151,764 阅读

深入SenseNova-U1.5-8B-MoT-bf16架构原理:MoT混合Transformer+像素空间流生成如何抛弃VAE

SenseNova-U1.5-8B-MoT-bf16 是商汤 SenseNova 团队统一多模态模型 SenseNova-U1.5-8B-MoT 的 Apple Silicon(MLX)bf16 版本。它的核心看点有两个:MoT(Mixture-of-Transformers)双权重流架构,以及在像素空间直接做流匹配生成、彻底抛弃 VAE 的像素头设计。一个模型同时覆盖文生图(T2I)、指令编辑、视觉问答(VQA)和 think 推理模式,下载体积约 35.1 GB(上游原版约 50 GB)。

一、这个仓库到底是什么

简单说,上游 8B 参数量的统一多模态旗舰模型,经过一次 bf16 精度转换后重新打包:

  • 精度:bf16 —— 正是参考实现自己的默认推理精度,fp32 只是存储精度;
  • 体积:权重总计约 35.1 GB(见 model.safetensors.index.json 中 total_size: 35065708928),分成 7 个 safetensors 分片;
  • 运行时:专为 MLX 生态的 Swift 运行时 sensenova-u1-swift 设计,权重按运行时的 NHWC 布局存储,加载时零转换开销(峰值加载内存 ≈ 常驻内存);
  • 许可:Apache-2.0。

官方定位:一个"any-to-any"原生多模态模型 —— 文本进、图出;图进、文出;指令进、改过的图出。

二、MoT 混合 Transformer:一层里住两套权重

打开 model.safetensors.index.json 的权重映射,会发现 42 层 Transformer 的每一层都存在成对出现的同名模块,例如第 0 层:

language_model.model.layers.0.self_attn.q_proj.weight        # 文本流(理解)
language_model.model.layers.0.self_attn.q_proj_mot_gen.weight # 生成流(_mot_gen)

q/k/v/o 投影、gate/up/down MLP、input/post_attention_layernorm 全部成对出现,MLP 部分见 model-00001-of-00007.safetensors。

这正是 Mixture-of-Transformers(MoT) 的精髓:

部分 是否共享 说明
注意力交互 ✅ 共享 文本 token 与图像 token 在同一条序列里互相注意,理解与生成"看得见"彼此
投影 / FFN / 归一化 ❌ 各自一套 每个 token 按所属模态路由到专属的"专家"权重,互不干扰

带来的好处很直观:

  1. 理解能力不被生成任务稀释 —— 文本理解走原生 LLM 权重(Qwen3 结构:hidden 4096、42 层、32 头、8 个 KV 头、词表 151,936、最长 262,144 上下文,见 config.json);
  2. 生成任务有专属参数 —— mot_gen 后缀的权重专门为"画像素"训练,两条流共享注意力上下文,所以生成时能充分"读懂"你输入的指令;
  3. 推理时按任务路由:纯文本对话只激活文本流,出图时才把生成流拉起来,计算更省。

三、像素空间流生成:VAE 为什么被抛弃了

传统扩散/流匹配模型的流水线是:

图像 ↔ VAE编码 ↔ 潜空间(压缩) ↔ 扩散/流模型 ↔ 潜空间 ↔ VAE解码 ↔ 图像

而 SenseNova-U1.5 直接把 VAE 从中间删掉,在原始像素空间做 rectified flow(整流流)。证据都在 config.json:

"use_pixel_head": true,
"fm_head_dim": 1536,
"fm_head_layers": 2,
"patch_size": 16

配套的 fm_modules(flow matching 模块)权重包括(见索引文件前几项):

  • fm_head(conv1 + conv2 两层卷积):像素头,直接输出 RGB 像素块 —— 这就是"抛弃 VAE"后接在主干上的解码器;
  • timestep_embedder:把去噪时间步 t 编码成向量注入网络;
  • noise_scale_embedder:噪声强度嵌入,noise_scale_mode 为 resolution(config.json),分辨率越大起始噪声越强,让不同尺寸的图片用各自合适的"去噪起点";
  • vision_model_mot_gen:生成流专属的视觉嵌入,图像先按 patch_size: 16 切成块再进入生成流。

为什么敢这么做?

  • 省去 VAE 的有损压缩:文字、发丝、纹理这类细节不再经过"压一压再解压",编辑任务里"改一点、保其余"的保真度天然更好;
  • 单链路训练:理解端(vision_model,hidden 1024 的 NEOVisionModel,downsample_ratio: 0.5 做 token 减半)和生成端在像素空间对接,误差传播链路更短;
  • 代价是生成步数变多、显存更高 —— 所以官方把"质量档"定义为 50 步,而 8 步是快速档。

生成调度参数速查

参数 值 含义
P_mean / P_std -0.8 / 0.8 logit-normal 时间步采样的均值与标准差,控制各阶段去噪步数分配
t_eps 0.05 时间步下界,避免除零
base_shift / max_shift 0.5 / 1.15 随分辨率指数抬升时间步偏移(exponential),高分辨率更偏重早期粗结构
max_pixels / min_pixels 16,777,216 / 65,536 支持约 4096×4096 至 256×256 的面积范围

四、仓库文件结构速览

文件 作用
README.md 模型定位、性能数据、Quick start
config.json 架构主配置(NEOChatModel + Qwen3 LLM + NEOVision 视觉塔)
model.safetensors.index.json 权重→分片映射表,MoT 双权重在此清晰可见
model-00001-of-00007.safetensors ~ model-00007-of-00007.safetensors 7 个 bf16 权重分片,合计约 35.1 GB
tokenizer.json / tokenizer_config.json / vocab.json / merges.txt 分词器(与上游逐字节一致),含 <img>、<quad>、<box> 等视觉定位 token(见 added_tokens.json)
special_tokens_map.json 特殊 token 映射

其中 <quad>、<box>、<ref> 这类定位 token 配合 VQA 模式,让模型能像视觉 Agent 一样输出图像内元素的位置。

五、一键运行:Mac 本地出图最快配置

# 1. 获取权重(gitcode 镜像)
git clone https://gitcode.com/hf_mirrors/mlx-community/SenseNova-U1.5-8B-MoT-bf16

# 2. 构建运行时(sensenova-u1-swift,官方 Swift 运行时)
swift build -c release

# 3. 文生图:50 步质量档
.build/release/sensenova-cli --weights SenseNova-U1.5-8B-MoT-bf16 \
  --prompt "A cinematic mountain lake at sunrise, realistic photography." \
  --width 1024 --height 1024 --steps 50 --cfg 4.0 --out out.npy

其他模式在同一 CLI 上切换:--edit-image 做指令编辑、--vqa 做视觉问答、--think 开启 think 推理模式。

参考性能(M5 Max):峰值内存 35.1 GB;1024² 约 6.6 秒(8 步、cfg 4),2048² 约 40 秒;50 步质量档约为上述时间的 5 倍。

六、总结

SenseNova-U1.5-8B-MoT-bf16 值得记住的三件事:

  1. MoT 双权重流:42 层里每层都有文本流与生成流两套专家权重,注意力共享、专家独立,理解与生成"一个模型、两条腿";
  2. 像素空间整流流 + 卷积像素头:砍掉 VAE,直出像素,编辑保真与细节还原收益明显;
  3. bf16 + MLX 零转换加载:35.1 GB 下载、峰值内存与常驻内存基本持平,是目前在 Apple Silicon 上跑统一多模态大模型的实用选择之一。
登录后查看全文
SenseNova-U1.5-8B-MoT-bf16