Wan2.2-T2V-A14B-FP8 项目深度解读:MoE 视频生成 + FP8/INT8 量化,这个仓库里到底有什么?

原创2026-10-19 21:52:302,328 阅读

Wan2.2-T2V-A14B-FP8 项目深度解读:MoE 视频生成 + FP8/INT8 量化,这个仓库里到底有什么?

Wan2.2-T2V-A14B-FP8 是阿里巴巴 Wan2.2 文生视频大模型 T2V-A14B 的 FP8/INT8 量化版本,由 unsloth 提供。它在 Diffusers 标准模型目录之外,额外附带 4 个预量化 checkpoint,把常驻显存从约 69GB 降到约 41GB、加载时间从 90 秒缩短到 26 秒,让 480P/720P 的 MoE 视频生成在更小的显卡上也能跑起来。

一、这个仓库到底是什么?

先说结论:这是一个"完整模型 + 预量化权重"双料仓库。

  • 基础模型:Wan2.2-T2V-A14B,采用 MoE(混合专家)架构的文本生成视频模型,支持 5 秒 480P/720P 视频。两个专家模型各约 14B 参数,总计 27B,但每一步推理只激活 14B,计算量不增。
  • 本仓库的增量:用 torchao 动态激活量化(dynamic activation quantization)预先生成的 INT8 和 FP8 量化 checkpoint,共 4 个 .pt 文件。

README 给出的核心收益数据(详见 README.md 末尾"Quantized transformer checkpoints"章节):

指标 量化版 bf16 原版
加载时间 约 26 秒 约 90 秒(加载+现场量化)
常驻显存 约 41 GB 约 69 GB
首帧 LPIPS(越低越接近原版) INT8: 0.42 / FP8: 0.44 基准

也就是说,量化后画质与 bf16 原版非常接近,而显存和加载速度提升明显。

二、仓库目录结构一览(5 分钟看懂)

Wan2.2-T2V-A14B 量化模型仓库目录结构与双专家 MoE 视频生成管线示意

整个仓库是一个标准的 Diffusers 格式模型目录(WanPipeline),入口定义在 model_index.json 中:

目录 / 文件 内容 说明
model_index.json 管线总入口 指定 WanPipeline,boundary_ratio: 0.875 即 MoE 双专家切换点
transformer/ 高噪声专家(bf16) 12 个分片,共约 57GB,WanTransformer3DModel,40 层 × 40 头
transformer_2/ 低噪声专家(bf16) 12 个分片,共约 57GB,结构与 transformer 完全对称
text_encoder/ UMT5-xxl 文本编码器 3 个分片,约 11.4GB,负责理解你的提示词
tokenizer/ T5 分词器 含 spiece.model、tokenizer.json
vae/ 视频 VAE AutoencoderKLWan,16×16×4 高压缩,z_dim=16
scheduler/ 采样器配置 scheduler_config.json:UniPCMultistepScheduler,flow_shift=3.0
samples/ 生成效果首帧 FP8/INT8 各 3 张,提示词为 "cute sloth typing on a computer"
4 个 .pt 文件 预量化 checkpoint INT8×2、FP8×2,每个约 14.5GB

几个容易混淆的点:

  • transformer/ 和 transformer_2/ 是 MoE 的两个专家(bf16 完整权重),分别负责去噪流程的前半段(搭布局)和后半段(修细节)。
  • 根目录的 4 个 .pt 是量化版的对应专家权重:不带后缀对应高噪声专家,-2 后缀对应低噪声专家。

三、量化细节:FP8 和 INT8 怎么选?

两种量化方案都由 torchao 动态激活量化实现,细节见 README.md:

  • INT8:Int8DynamicActivationInt8WeightConfig,per-token 动态激活量化 + per-channel 权重量化,底层走 torch._int_mm 整数矩阵乘。
  • FP8:Float8DynamicActivationFloat8WeightConfig,e4m3 格式、PerRow 粒度,底层走 torch._scaled_mm。注意 FP8 方案排除了 condition_embedder(文本 padding 产生的全零行会导致动态 scale 失效,加载器需将激活下界设为 activation_value_lb=1e-12)。

Wan2.2-T2V-A14B INT8 量化视频生成首帧示例(提示词:cute sloth typing on a computer)

Wan2.2-T2V-A14B FP8 量化视频生成首帧示例(提示词:cute sloth typing on a computer)

上面两张是 samples/ 目录中的首帧效果(完整 6 张在 samples/fp8_1.png ~ samples/int8_3.png)。

量化版还有两个"省心"特性:

  1. 位级一致:加载预量化 checkpoint 与"加载 bf16 后现场量化"逐位相同,只是跳过了现场量化这一步,结果可预期。
  2. 双专家成对加载(all-or-none):每种方案必须以"专家对"的形式齐全才能加载,缺一个文件整个管线拒绝启动,避免加载到一半才发现缺权重的尴尬。

质量验证方面,unsloth 用相同种子的 dense bf16 视频做了对照(LPIPS-vgg、PSNR、非有限值与黑帧检查,torch 2.10 + torchao 0.17 环境),首帧 LPIPS:INT8 0.42、FP8 0.44,差距极小。

四、双专家 MoE 是如何分工的?

Wan2.2 的 A14B 系列把去噪过程按时间步拆分给两个专家:

  • 高噪声专家(对应 transformer/):去噪初期使用,负责确定视频的整体布局和运动骨架;
  • 低噪声专家(对应 transformer_2/):去噪后期接管,精修纹理与细节。

切换时机由信噪比(SNR)阈值决定:当去噪步 t 小于阈值 t_moe 时切换到低噪声专家,在 model_index.json 中对应 boundary_ratio: 0.875。

单看专家结构,transformer/config.json 显示:40 层、40 个注意力头(头维度 128)、FFN 维度 13824、16 通道输入输出(对应 VAE 的 z_dim=16)、rope_max_seq_len=1024。每个专家约 14B 参数,所以"总参数 27B、每步激活 14B"——用更大的模型容量换取同样的推理成本,这正是 MoE 的意义。

五、如何获取与运行?

一键克隆仓库

git clone https://gitcode.com/hf_mirrors/unsloth/Wan2.2-T2V-A14B-FP8

两种使用姿势

  1. Diffusers 标准目录:model_index.json + 各模块目录就是完整的 WanPipeline,可直接配合 WanTransformer3DModel、AutoencoderKLWan 使用,适合只想跑通流程的新手。
  2. Unsloth 预量化 checkpoint:加载 4 个 .pt 量化权重,配合 torchao 的量化配置(INT8 用 Int8DynamicActivationInt8WeightConfig,FP8 用 Float8DynamicActivationFloat8WeightConfig),省掉现场量化,显存和速度收益最大,推荐显存紧张的用户。

硬件与环境要求

  • 显存:bf16 单卡完整跑需要约 80GB 显存的显卡;量化版常驻约 41GB,建议 48GB 级显卡起步,更小的卡需要多卡 FSDP/Ulysses 切分。
  • 软件:torch ≥ 2.4(官方在 torch 2.10 + torchao 0.17 下验证),且需要显卡/驱动支持 torch._int_mm(INT8)或 torch._scaled_mm(FP8)硬件加速。
  • 许可:模型采用 Apache 2.0 协议(见 LICENSE),商用友好。

六、常见问题 FAQ

Q1:FP8 和 INT8 怎么选? 两者文件体积几乎相同(各约 14.5GB)。INT8 的首帧 LPIPS 略低(0.42 vs 0.44),理论上与原版更接近;FP8 依赖 torch._scaled_mm,在新硬件上矩阵乘效率更高。硬件支持 FP8 且追求速度选 FP8,追求稳选 INT8,画质差异肉眼基本不可分辨。

Q2:为什么文件名有 -2 后缀? 这是低噪声专家的标记:Wan2.2-T2V-A14B-INT8.pt → 高噪声专家(transformer),Wan2.2-T2V-A14B-INT8-2.pt → 低噪声专家(transformer_2)。双专家必须成对齐全才会加载。

Q3:24GB 消费级显卡能跑吗? 不太行。即使量化后单个专家常驻约 41GB,24GB 显存仍不够;建议 48GB 单卡或多卡切分(FSDP + Ulysses)。

七、写在最后

Wan2.2-T2V-A14B-FP8 是"顶级开源视频模型 + 工程化量化"的组合:Wan2.2 的 MoE 双专家架构保证了 480P/720P 视频生成的质量上限,而 unsloth 的预量化 checkpoint 则把"跑不动"变成了"跑得动"——显存省 40%、加载快 3.5 倍,画质几乎无损。如果你计划部署文生视频服务或想在自有硬件上体验 Wan2.2,这个仓库是目前门槛最低的选择之一。

Wan2.2-T2V-A14B-FP8 量化视频生成效果首帧展示

核心资料速查:

登录后查看全文
Wan2.2-T2V-A14B-FP8