OmniWeaving模型架构深度剖析:MLLM+MMDiT+VAE统一视频生成框架完整指南

原创2026-10-26 21:56:262,001 阅读

OmniWeaving模型架构深度剖析:MLLM+MMDiT+VAE统一视频生成框架完整指南

OmniWeaving 是腾讯混元(Tencent Hunyuan)团队推出的开源统一视频生成模型,官方仓库为 OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning。它基于 MLLM(多模态大语言模型)+ MMDiT(多模态扩散 Transformer)+ VAE(变分自编码器) 三大组件构建,能自由组合文本、多图、视频等多种输入,并通过推理能力(Thinking Mode)理解复杂用户意图,一个模型搞定文生视频、图生视频、视频编辑、多主体合成等 7 大任务。🎬

本文将从架构全景、三大核心组件、两大关键创新(激活 MLLM 思考模式、Hidden States DeepStacking)到源码路径,带你完整读懂 OmniWeaving 的模型架构。

一、架构全景:一套框架统一 7 种视频生成任务

OmniWeaving 的设计目标是 "自由形式组合 + 推理感知" 的统一视频生成:输入可以是纯文本、单图、多图、视频,任意交错组合;输出永远是高质量视频。它不再需要为每个任务训练独立模型,而是用一个 MLLM 负责"理解",一个 MMDiT 负责"生成",一个 VAE 负责"压缩与还原"。

官方架构图完整展示了这一数据流:

OmniWeaving统一视频生成架构:MLLM语义解析器、MMDiT扩散生成器与VAE视觉编码器三组件协作示意图

三大组件的分工一目了然:

组件 角色定位 核心职责
MLLM 语义解析器 解析交错的文本/图像/视频输入,映射到高维语义空间,并作为"智能体"推断用户意图
MMDiT 视频生成引擎 融合 MLLM 语义条件与噪声潜变量,通过自注意力迭代去噪生成视频
VAE 视觉 Tokenizer 将图像/视频压缩为低维 latent,生成后再解码还原为像素

三大创新点也可以从图中直接看出:左上角红色虚线框是 Hidden States DeepStacking(从 MLLM 的 Block1~BlockN 多层抽取隐状态,经 MLP 注入 MMDiT),中部大脑图标是 Activating Thinking Mode(MLLM 生成 <think> 推理链,产出增强 prompt),右侧绿色 VAE 模块处理 Image / Video / Noisy Latents。

这一架构让 OmniWeaving 统一支持以下任务(t2v、i2v、interpolation、reference2v、editing、tiv2v 六大任务标志),其中 t2v、i2v、interpolation 还可开启 --think 推理增强生成。

二、组件一:MLLM 语义解析器——从"被动抽特征"到"主动推理"

MLLM 是 OmniWeaving 的"大脑"。它的输入由三类 token 交错组成:

  • Text Tokenizer:处理 System Prompt 和用户文本指令;
  • ViT(视觉编码器):处理交错的图像与视频帧;
  • 中间层隐状态:供 DeepStacking 抽取(见第四节)。

对应源码:

在传统的"MLLM 当条件编码器"方案里,MLLM 只是被动地输出最终层特征。但当输入是"多图 + 简短文本"这类弱关联组合时,直接编码容易产生语义歧义——模型"猜不准"用户到底想要什么。OmniWeaving 的解法是让 MLLM 真正"想一遍",这就是下文两大创新。

三、组件二:MMDiT 扩散 Transformer——双流注意力的视频去噪引擎

MMDiT(Multimodal Diffusion Transformer) 是视频像素的最终"制造者"。它接收两路输入:MLLM 的语义条件(文本/视觉 token 投影后的向量)与带噪潜变量 hidden_states,通过逐层去噪把噪声一步步"雕刻"成视频。

其核心结构在 hyvideo/models/transformers/hunyuanvideo_1_5_transformer.py 中:

  • HunyuanVideo_1_5_DiffusionTransformer(主 Transformer 类):管理时间步嵌入 time_in、文本投影 txt_in、视觉投影 vision_in 以及条件类型嵌入 cond_type_embedding(区分 text encoder / byT5 / vision encoder 三类特征来源);
  • MMDoubleStreamBlock(双流块):图像流(img_*)与文本流(txt_*)各自拥有独立的 QKV 注意力与 MLP,在联合注意力中交互后再分别走单流块,这是 MMDiT "双流"命名的由来;
  • 3D RoPE 位置编码:get_rotary_pos_embed(L630-L646)将头维度切分为时间/高/宽三个方向,让注意力感知视频时空位置。

在 forward 中(L684-L769)可以看到完整的条件注入顺序:时间步嵌入 → 文本 token 投影(single_refiner 模式)→ DeepStacking 特征投影 mm_in → byT5 字形特征合并 → 视觉条件 token 拼接。

Reasoning推理增强的视频生成示例:输入参考图与简短prompt,MLLM先输出think推理链再驱动MMDiT生成视频

推理增强任务的实际效果:左侧参考图 + 简短文字指令,右侧即生成符合意图的视频(assets/cases/reasoning/ 目录)。

四、组件三:VAE 视觉 Tokenizer——时空压缩的桥梁

VAE 承担"视觉 Tokenizer"职责:推理时把条件图像/视频编码为低维 latent 供 MMDiT 消费,生成结束后再把干净的 latent 解码回像素视频。

源码位于 hyvideo/models/autoencoders/hunyuanvideo_15_vae.py,采用时空因子分解的层级结构:

  • Encoder(L331):CausalConv3d 因果卷积 + 多级别 ResnetBlock 下采样,ffactor_spatial / ffactor_temporal 分别控制空间与时间压缩率,输出 2*z_channels 的高斯参数;
  • Decoder(L413):对称地上采样还原视频。

这种因果卷积设计保证了对流式、变长帧数视频的天然支持——训练与推理要求帧数为 4n+1(如默认 81 帧),正是由时间压缩因子决定的。

五、创新一:激活 MLLM 思考模式(Thinking Mode)

这是 OmniWeaving 与普通"MLLM 编码器"方案最本质的区别。🧠

问题:直接编码交错的视觉-文本输入,语义关联弱、意图模糊,生成结果容易"跑偏"。

解法:把 MLLM 从被动特征提取器升级为主动推理者——开启思考模式后,MLLM 会先以自回归方式生成一段 <think>...</think> 推理链(即中间推理步骤),自主推断并"扩写"出一份语义精确的增强 prompt,再与原始 MLLM 特征一起作为 MMDiT 的条件。这就弥合了"抽象用户意图"与"像素级生成"之间的认知鸿沟。

从架构图中可以看到完整示例:输入是一张男子走廊行走的图加一句"Generate a video of a man handing over a briefcase to his manager in the office",MLLM 在 <think> 标签中推理出"走廊左侧是办公室、经理在办公桌后、镜头平滑过渡"等细节,最终输出详细的增强描述。

源码实现是 hyvideo/pipelines/hunyuan_video_pipeline.py 中的 activate_think_to_rewrite_prompt(L846-L925):针对 t2v、i2v、interpolation 三类任务分别构造引导前缀(如 i2v 任务的 "Here is a concise description of the target video starting with the given image: "),用贪心解码保证确定性输出,max_new_tokens 控制推理长度。推理时只需给 generate.py 加上 --think 参数即可开启。

六、创新二:Hidden States DeepStacking 深层状态堆叠

问题:多主体、复杂场景的组合式视频生成,既需要"细粒度细节"(主体纹理、文字),也需要"高层语义"(构图、动作关系)。只用 MLLM 最后一层特征,语义信息是"单层"的,粒度不够丰富。

解法:借鉴 Qwen3-VL 的 DeepStacking 机制,从 MLLM 更宽范围的中间层(默认第 8、16、24 层,即 deepstack=[8,16,24])抽取多层隐状态,捕获"细粒度细节 → 高层抽象"的完整语义谱系。

具体数据流(代码可查):

  1. 文本编码器侧:encode_prompt 传入 deepstack 参数,返回 deepstack_hidden_states(多层特征拼接);
  2. MLP 连接器投影:Transformer 中 mm_in(L570-L578)是专用 TextProjection 层,把多层特征投影到 MMDiT 嵌入空间;
  3. 前 3 层直接注入:forward 中(L846-L859)按块索引把投影后的多层特征直接相加到 MMDiT 条件分支(txt 流)前 3 层的对应隐状态上,将多粒度语义引导"织入"生成过程的最前端。

💡 训练时对应参数为 --deepstack(默认 8 16 24),见 train.py 的关键参数表。

七、端到端数据流:一次生成如何跑通

把以上组件串起来,一次典型推理(以开启 --think 的 i2v 为例)的完整链路是:

  1. 输入预处理:generate.py 解析任务标志(--task i2v)与参数,参考 generate.py;
  2. Thinking Mode:MLLM 自回归生成 <think> 推理链,产出增强 prompt;
  3. 语义编码:MLLM 前向计算,抽取最终层特征 + DeepStacking 多层特征(第 8/16/24 层),分别经 txt_in、mm_in 投影;ViT 编码参考图像得到 vision_states;
  4. VAE 编码:条件帧被编码为 latent,与随机噪声 latent 在通道维拼接(latents_concat,pipeline L1926);
  5. MMDiT 去噪循环:Flow Matching 调度器(hyvideo/schedulers/scheduling_flow_match_discrete.py)驱动 50 步(默认)迭代去噪,每步双/单流注意力交互,DeepStacking 特征持续注入前 3 层;
  6. VAE 解码:干净 latent 解码回像素,imageio 写出 MP4。

文生视频效果示例:OmniWeaving MMDiT根据纯文本prompt生成的高保真视频

assets/cases/ 目录下还有 t2v、i2v、interpolation、editing、reference2v、compositional、tiv2v、reasoning 等全套任务示例动图,配合上文架构理解效果更佳。

八、源码地图:关键模块路径速查

模块 路径 说明
推理入口 generate.py 任务标志、参数解析、多卡启动
训练入口 train.py FSDP + 序列并行 + Muon 优化器,多任务混合训练
主 Pipeline hyvideo/pipelines/hunyuan_video_pipeline.py 调度三大组件、Thinking Mode、去噪循环
MMDiT 主体 hyvideo/models/transformers/hunyuanvideo_1_5_transformer.py 双流块、DeepStacking 注入、3D RoPE
MMDiT 子模块 hyvideo/models/transformers/modules/ attention、norm、MLP、modulate、RoPE 等层实现
VAE hyvideo/models/autoencoders/hunyuanvideo_15_vae.py 时空因子分解的 Encoder/Decoder
MLLM 文本编码器 hyvideo/models/text_encoders/ prompt 格式化与多层隐状态抽取
视觉编码器 hyvideo/models/vision_encoder/init.py SigLIP 图像/视频帧编码
数据构造流水线 process_data/ 三类任务的 VLM 标注 + 质量过滤流水线
评测基准 intelligentVBench/ IntelligentVBench 测试集与评分脚本

九、写在最后

OmniWeaving 的架构精髓可以用一句话概括:让"理解"(MLLM)与"生成"(MMDiT)解耦但深度融合,用 VAE 做时空压缩的桥梁,再用 Thinking Mode 与 DeepStacking 两大机制把"意图理解深度"和"语义粒度"拉满。 💪

这种 "MLLM + MMDiT + VAE" 的三段式设计已成为新一代统一视频生成模型的代表性范式:MLLM 越强、推理越深,MMDiT 拿到的条件就越精准,最终视频质量与意图对齐度也就越高。如果你是视频生成方向的新手,建议按"架构图 → 三大组件 → 两大创新 → 源码地图"的顺序配合本文阅读,再跑一个 --think 的 i2v 示例,整条链路就全通了。

登录后查看全文
OmniWeaving