OmniWeaving模型架构深度剖析:MLLM+MMDiT+VAE统一视频生成框架完整指南
OmniWeaving模型架构深度剖析:MLLM+MMDiT+VAE统一视频生成框架完整指南
OmniWeaving 是腾讯混元(Tencent Hunyuan)团队推出的开源统一视频生成模型,官方仓库为 OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning。它基于 MLLM(多模态大语言模型)+ MMDiT(多模态扩散 Transformer)+ VAE(变分自编码器) 三大组件构建,能自由组合文本、多图、视频等多种输入,并通过推理能力(Thinking Mode)理解复杂用户意图,一个模型搞定文生视频、图生视频、视频编辑、多主体合成等 7 大任务。🎬
本文将从架构全景、三大核心组件、两大关键创新(激活 MLLM 思考模式、Hidden States DeepStacking)到源码路径,带你完整读懂 OmniWeaving 的模型架构。
一、架构全景:一套框架统一 7 种视频生成任务
OmniWeaving 的设计目标是 "自由形式组合 + 推理感知" 的统一视频生成:输入可以是纯文本、单图、多图、视频,任意交错组合;输出永远是高质量视频。它不再需要为每个任务训练独立模型,而是用一个 MLLM 负责"理解",一个 MMDiT 负责"生成",一个 VAE 负责"压缩与还原"。
官方架构图完整展示了这一数据流:
三大组件的分工一目了然:
| 组件 | 角色定位 | 核心职责 |
|---|---|---|
| MLLM | 语义解析器 | 解析交错的文本/图像/视频输入,映射到高维语义空间,并作为"智能体"推断用户意图 |
| MMDiT | 视频生成引擎 | 融合 MLLM 语义条件与噪声潜变量,通过自注意力迭代去噪生成视频 |
| VAE | 视觉 Tokenizer | 将图像/视频压缩为低维 latent,生成后再解码还原为像素 |
三大创新点也可以从图中直接看出:左上角红色虚线框是 Hidden States DeepStacking(从 MLLM 的 Block1~BlockN 多层抽取隐状态,经 MLP 注入 MMDiT),中部大脑图标是 Activating Thinking Mode(MLLM 生成 <think> 推理链,产出增强 prompt),右侧绿色 VAE 模块处理 Image / Video / Noisy Latents。
这一架构让 OmniWeaving 统一支持以下任务(t2v、i2v、interpolation、reference2v、editing、tiv2v 六大任务标志),其中 t2v、i2v、interpolation 还可开启 --think 推理增强生成。
二、组件一:MLLM 语义解析器——从"被动抽特征"到"主动推理"
MLLM 是 OmniWeaving 的"大脑"。它的输入由三类 token 交错组成:
- Text Tokenizer:处理 System Prompt 和用户文本指令;
- ViT(视觉编码器):处理交错的图像与视频帧;
- 中间层隐状态:供 DeepStacking 抽取(见第四节)。
对应源码:
- 文本编码器封装:hyvideo/models/text_encoders/init.py(
TextEncoder类,支持 prompt 模板、多层隐状态输出hidden_states_list与deepstack_hidden_states); - 视觉编码器:hyvideo/models/vision_encoder/init.py(
VisionEncoder类,基于 SigLIP,支持视频帧编码)。
在传统的"MLLM 当条件编码器"方案里,MLLM 只是被动地输出最终层特征。但当输入是"多图 + 简短文本"这类弱关联组合时,直接编码容易产生语义歧义——模型"猜不准"用户到底想要什么。OmniWeaving 的解法是让 MLLM 真正"想一遍",这就是下文两大创新。
三、组件二:MMDiT 扩散 Transformer——双流注意力的视频去噪引擎
MMDiT(Multimodal Diffusion Transformer) 是视频像素的最终"制造者"。它接收两路输入:MLLM 的语义条件(文本/视觉 token 投影后的向量)与带噪潜变量 hidden_states,通过逐层去噪把噪声一步步"雕刻"成视频。
其核心结构在 hyvideo/models/transformers/hunyuanvideo_1_5_transformer.py 中:
HunyuanVideo_1_5_DiffusionTransformer(主 Transformer 类):管理时间步嵌入time_in、文本投影txt_in、视觉投影vision_in以及条件类型嵌入cond_type_embedding(区分 text encoder / byT5 / vision encoder 三类特征来源);MMDoubleStreamBlock(双流块):图像流(img_*)与文本流(txt_*)各自拥有独立的 QKV 注意力与 MLP,在联合注意力中交互后再分别走单流块,这是 MMDiT "双流"命名的由来;- 3D RoPE 位置编码:
get_rotary_pos_embed(L630-L646)将头维度切分为时间/高/宽三个方向,让注意力感知视频时空位置。
在 forward 中(L684-L769)可以看到完整的条件注入顺序:时间步嵌入 → 文本 token 投影(single_refiner 模式)→ DeepStacking 特征投影 mm_in → byT5 字形特征合并 → 视觉条件 token 拼接。
推理增强任务的实际效果:左侧参考图 + 简短文字指令,右侧即生成符合意图的视频(assets/cases/reasoning/ 目录)。
四、组件三:VAE 视觉 Tokenizer——时空压缩的桥梁
VAE 承担"视觉 Tokenizer"职责:推理时把条件图像/视频编码为低维 latent 供 MMDiT 消费,生成结束后再把干净的 latent 解码回像素视频。
源码位于 hyvideo/models/autoencoders/hunyuanvideo_15_vae.py,采用时空因子分解的层级结构:
Encoder(L331):CausalConv3d因果卷积 + 多级别 ResnetBlock 下采样,ffactor_spatial/ffactor_temporal分别控制空间与时间压缩率,输出2*z_channels的高斯参数;Decoder(L413):对称地上采样还原视频。
这种因果卷积设计保证了对流式、变长帧数视频的天然支持——训练与推理要求帧数为 4n+1(如默认 81 帧),正是由时间压缩因子决定的。
五、创新一:激活 MLLM 思考模式(Thinking Mode)
这是 OmniWeaving 与普通"MLLM 编码器"方案最本质的区别。🧠
问题:直接编码交错的视觉-文本输入,语义关联弱、意图模糊,生成结果容易"跑偏"。
解法:把 MLLM 从被动特征提取器升级为主动推理者——开启思考模式后,MLLM 会先以自回归方式生成一段 <think>...</think> 推理链(即中间推理步骤),自主推断并"扩写"出一份语义精确的增强 prompt,再与原始 MLLM 特征一起作为 MMDiT 的条件。这就弥合了"抽象用户意图"与"像素级生成"之间的认知鸿沟。
从架构图中可以看到完整示例:输入是一张男子走廊行走的图加一句"Generate a video of a man handing over a briefcase to his manager in the office",MLLM 在 <think> 标签中推理出"走廊左侧是办公室、经理在办公桌后、镜头平滑过渡"等细节,最终输出详细的增强描述。
源码实现是 hyvideo/pipelines/hunyuan_video_pipeline.py 中的 activate_think_to_rewrite_prompt(L846-L925):针对 t2v、i2v、interpolation 三类任务分别构造引导前缀(如 i2v 任务的 "Here is a concise description of the target video starting with the given image: "),用贪心解码保证确定性输出,max_new_tokens 控制推理长度。推理时只需给 generate.py 加上 --think 参数即可开启。
六、创新二:Hidden States DeepStacking 深层状态堆叠
问题:多主体、复杂场景的组合式视频生成,既需要"细粒度细节"(主体纹理、文字),也需要"高层语义"(构图、动作关系)。只用 MLLM 最后一层特征,语义信息是"单层"的,粒度不够丰富。
解法:借鉴 Qwen3-VL 的 DeepStacking 机制,从 MLLM 更宽范围的中间层(默认第 8、16、24 层,即 deepstack=[8,16,24])抽取多层隐状态,捕获"细粒度细节 → 高层抽象"的完整语义谱系。
具体数据流(代码可查):
- 文本编码器侧:encode_prompt 传入
deepstack参数,返回deepstack_hidden_states(多层特征拼接); - MLP 连接器投影:Transformer 中
mm_in(L570-L578)是专用TextProjection层,把多层特征投影到 MMDiT 嵌入空间; - 前 3 层直接注入:
forward中(L846-L859)按块索引把投影后的多层特征直接相加到 MMDiT 条件分支(txt 流)前 3 层的对应隐状态上,将多粒度语义引导"织入"生成过程的最前端。
💡 训练时对应参数为
--deepstack(默认8 16 24),见 train.py 的关键参数表。
七、端到端数据流:一次生成如何跑通
把以上组件串起来,一次典型推理(以开启 --think 的 i2v 为例)的完整链路是:
- 输入预处理:
generate.py解析任务标志(--task i2v)与参数,参考 generate.py; - Thinking Mode:MLLM 自回归生成
<think>推理链,产出增强 prompt; - 语义编码:MLLM 前向计算,抽取最终层特征 + DeepStacking 多层特征(第 8/16/24 层),分别经
txt_in、mm_in投影;ViT 编码参考图像得到vision_states; - VAE 编码:条件帧被编码为 latent,与随机噪声 latent 在通道维拼接(
latents_concat,pipeline L1926); - MMDiT 去噪循环:Flow Matching 调度器(hyvideo/schedulers/scheduling_flow_match_discrete.py)驱动 50 步(默认)迭代去噪,每步双/单流注意力交互,DeepStacking 特征持续注入前 3 层;
- VAE 解码:干净 latent 解码回像素,
imageio写出 MP4。
assets/cases/ 目录下还有 t2v、i2v、interpolation、editing、reference2v、compositional、tiv2v、reasoning 等全套任务示例动图,配合上文架构理解效果更佳。
八、源码地图:关键模块路径速查
| 模块 | 路径 | 说明 |
|---|---|---|
| 推理入口 | generate.py | 任务标志、参数解析、多卡启动 |
| 训练入口 | train.py | FSDP + 序列并行 + Muon 优化器,多任务混合训练 |
| 主 Pipeline | hyvideo/pipelines/hunyuan_video_pipeline.py | 调度三大组件、Thinking Mode、去噪循环 |
| MMDiT 主体 | hyvideo/models/transformers/hunyuanvideo_1_5_transformer.py | 双流块、DeepStacking 注入、3D RoPE |
| MMDiT 子模块 | hyvideo/models/transformers/modules/ | attention、norm、MLP、modulate、RoPE 等层实现 |
| VAE | hyvideo/models/autoencoders/hunyuanvideo_15_vae.py | 时空因子分解的 Encoder/Decoder |
| MLLM 文本编码器 | hyvideo/models/text_encoders/ | prompt 格式化与多层隐状态抽取 |
| 视觉编码器 | hyvideo/models/vision_encoder/init.py | SigLIP 图像/视频帧编码 |
| 数据构造流水线 | process_data/ | 三类任务的 VLM 标注 + 质量过滤流水线 |
| 评测基准 | intelligentVBench/ | IntelligentVBench 测试集与评分脚本 |
九、写在最后
OmniWeaving 的架构精髓可以用一句话概括:让"理解"(MLLM)与"生成"(MMDiT)解耦但深度融合,用 VAE 做时空压缩的桥梁,再用 Thinking Mode 与 DeepStacking 两大机制把"意图理解深度"和"语义粒度"拉满。 💪
这种 "MLLM + MMDiT + VAE" 的三段式设计已成为新一代统一视频生成模型的代表性范式:MLLM 越强、推理越深,MMDiT 拿到的条件就越精准,最终视频质量与意图对齐度也就越高。如果你是视频生成方向的新手,建议按"架构图 → 三大组件 → 两大创新 → 源码地图"的顺序配合本文阅读,再跑一个 --think 的 i2v 示例,整条链路就全通了。


