深入SenseNova-U1.5-8B-MoT-bf16架构原理:MoT混合Transformer+像素空间流生成如何抛弃VAE
深入SenseNova-U1.5-8B-MoT-bf16架构原理:MoT混合Transformer+像素空间流生成如何抛弃VAE
SenseNova-U1.5-8B-MoT-bf16 是商汤 SenseNova 团队统一多模态模型 SenseNova-U1.5-8B-MoT 的 Apple Silicon(MLX)bf16 版本。它的核心看点有两个:MoT(Mixture-of-Transformers)双权重流架构,以及在像素空间直接做流匹配生成、彻底抛弃 VAE 的像素头设计。一个模型同时覆盖文生图(T2I)、指令编辑、视觉问答(VQA)和 think 推理模式,下载体积约 35.1 GB(上游原版约 50 GB)。
一、这个仓库到底是什么
简单说,上游 8B 参数量的统一多模态旗舰模型,经过一次 bf16 精度转换后重新打包:
- 精度:bf16 —— 正是参考实现自己的默认推理精度,fp32 只是存储精度;
- 体积:权重总计约 35.1 GB(见 model.safetensors.index.json 中
total_size: 35065708928),分成 7 个 safetensors 分片; - 运行时:专为 MLX 生态的 Swift 运行时
sensenova-u1-swift设计,权重按运行时的 NHWC 布局存储,加载时零转换开销(峰值加载内存 ≈ 常驻内存); - 许可:Apache-2.0。
官方定位:一个"any-to-any"原生多模态模型 —— 文本进、图出;图进、文出;指令进、改过的图出。
二、MoT 混合 Transformer:一层里住两套权重
打开 model.safetensors.index.json 的权重映射,会发现 42 层 Transformer 的每一层都存在成对出现的同名模块,例如第 0 层:
language_model.model.layers.0.self_attn.q_proj.weight # 文本流(理解)
language_model.model.layers.0.self_attn.q_proj_mot_gen.weight # 生成流(_mot_gen)
q/k/v/o 投影、gate/up/down MLP、input/post_attention_layernorm 全部成对出现,MLP 部分见 model-00001-of-00007.safetensors。
这正是 Mixture-of-Transformers(MoT) 的精髓:
| 部分 | 是否共享 | 说明 |
|---|---|---|
| 注意力交互 | ✅ 共享 | 文本 token 与图像 token 在同一条序列里互相注意,理解与生成"看得见"彼此 |
| 投影 / FFN / 归一化 | ❌ 各自一套 | 每个 token 按所属模态路由到专属的"专家"权重,互不干扰 |
带来的好处很直观:
- 理解能力不被生成任务稀释 —— 文本理解走原生 LLM 权重(Qwen3 结构:hidden 4096、42 层、32 头、8 个 KV 头、词表 151,936、最长 262,144 上下文,见 config.json);
- 生成任务有专属参数 ——
mot_gen后缀的权重专门为"画像素"训练,两条流共享注意力上下文,所以生成时能充分"读懂"你输入的指令; - 推理时按任务路由:纯文本对话只激活文本流,出图时才把生成流拉起来,计算更省。
三、像素空间流生成:VAE 为什么被抛弃了
传统扩散/流匹配模型的流水线是:
图像 ↔ VAE编码 ↔ 潜空间(压缩) ↔ 扩散/流模型 ↔ 潜空间 ↔ VAE解码 ↔ 图像
而 SenseNova-U1.5 直接把 VAE 从中间删掉,在原始像素空间做 rectified flow(整流流)。证据都在 config.json:
"use_pixel_head": true,
"fm_head_dim": 1536,
"fm_head_layers": 2,
"patch_size": 16
配套的 fm_modules(flow matching 模块)权重包括(见索引文件前几项):
fm_head(conv1 + conv2 两层卷积):像素头,直接输出 RGB 像素块 —— 这就是"抛弃 VAE"后接在主干上的解码器;timestep_embedder:把去噪时间步 t 编码成向量注入网络;noise_scale_embedder:噪声强度嵌入,noise_scale_mode为resolution(config.json),分辨率越大起始噪声越强,让不同尺寸的图片用各自合适的"去噪起点";vision_model_mot_gen:生成流专属的视觉嵌入,图像先按patch_size: 16切成块再进入生成流。
为什么敢这么做?
- 省去 VAE 的有损压缩:文字、发丝、纹理这类细节不再经过"压一压再解压",编辑任务里"改一点、保其余"的保真度天然更好;
- 单链路训练:理解端(
vision_model,hidden 1024 的 NEOVisionModel,downsample_ratio: 0.5做 token 减半)和生成端在像素空间对接,误差传播链路更短; - 代价是生成步数变多、显存更高 —— 所以官方把"质量档"定义为 50 步,而 8 步是快速档。
生成调度参数速查
| 参数 | 值 | 含义 |
|---|---|---|
P_mean / P_std |
-0.8 / 0.8 | logit-normal 时间步采样的均值与标准差,控制各阶段去噪步数分配 |
t_eps |
0.05 | 时间步下界,避免除零 |
base_shift / max_shift |
0.5 / 1.15 | 随分辨率指数抬升时间步偏移(exponential),高分辨率更偏重早期粗结构 |
max_pixels / min_pixels |
16,777,216 / 65,536 | 支持约 4096×4096 至 256×256 的面积范围 |
四、仓库文件结构速览
| 文件 | 作用 |
|---|---|
| README.md | 模型定位、性能数据、Quick start |
| config.json | 架构主配置(NEOChatModel + Qwen3 LLM + NEOVision 视觉塔) |
| model.safetensors.index.json | 权重→分片映射表,MoT 双权重在此清晰可见 |
| model-00001-of-00007.safetensors ~ model-00007-of-00007.safetensors | 7 个 bf16 权重分片,合计约 35.1 GB |
| tokenizer.json / tokenizer_config.json / vocab.json / merges.txt | 分词器(与上游逐字节一致),含 <img>、<quad>、<box> 等视觉定位 token(见 added_tokens.json) |
| special_tokens_map.json | 特殊 token 映射 |
其中 <quad>、<box>、<ref> 这类定位 token 配合 VQA 模式,让模型能像视觉 Agent 一样输出图像内元素的位置。
五、一键运行:Mac 本地出图最快配置
# 1. 获取权重(gitcode 镜像)
git clone https://gitcode.com/hf_mirrors/mlx-community/SenseNova-U1.5-8B-MoT-bf16
# 2. 构建运行时(sensenova-u1-swift,官方 Swift 运行时)
swift build -c release
# 3. 文生图:50 步质量档
.build/release/sensenova-cli --weights SenseNova-U1.5-8B-MoT-bf16 \
--prompt "A cinematic mountain lake at sunrise, realistic photography." \
--width 1024 --height 1024 --steps 50 --cfg 4.0 --out out.npy
其他模式在同一 CLI 上切换:--edit-image 做指令编辑、--vqa 做视觉问答、--think 开启 think 推理模式。
参考性能(M5 Max):峰值内存 35.1 GB;1024² 约 6.6 秒(8 步、cfg 4),2048² 约 40 秒;50 步质量档约为上述时间的 5 倍。
六、总结
SenseNova-U1.5-8B-MoT-bf16 值得记住的三件事:
- MoT 双权重流:42 层里每层都有文本流与生成流两套专家权重,注意力共享、专家独立,理解与生成"一个模型、两条腿";
- 像素空间整流流 + 卷积像素头:砍掉 VAE,直出像素,编辑保真与细节还原收益明显;
- bf16 + MLX 零转换加载:35.1 GB 下载、峰值内存与常驻内存基本持平,是目前在 Apple Silicon 上跑统一多模态大模型的实用选择之一。