Wan2.2-T2V-A14B-FP8 项目深度解读:MoE 视频生成 + FP8/INT8 量化,这个仓库里到底有什么?
Wan2.2-T2V-A14B-FP8 项目深度解读:MoE 视频生成 + FP8/INT8 量化,这个仓库里到底有什么?
Wan2.2-T2V-A14B-FP8 是阿里巴巴 Wan2.2 文生视频大模型 T2V-A14B 的 FP8/INT8 量化版本,由 unsloth 提供。它在 Diffusers 标准模型目录之外,额外附带 4 个预量化 checkpoint,把常驻显存从约 69GB 降到约 41GB、加载时间从 90 秒缩短到 26 秒,让 480P/720P 的 MoE 视频生成在更小的显卡上也能跑起来。
一、这个仓库到底是什么?
先说结论:这是一个"完整模型 + 预量化权重"双料仓库。
- 基础模型:Wan2.2-T2V-A14B,采用 MoE(混合专家)架构的文本生成视频模型,支持 5 秒 480P/720P 视频。两个专家模型各约 14B 参数,总计 27B,但每一步推理只激活 14B,计算量不增。
- 本仓库的增量:用 torchao 动态激活量化(dynamic activation quantization)预先生成的 INT8 和 FP8 量化 checkpoint,共 4 个
.pt文件。
README 给出的核心收益数据(详见 README.md 末尾"Quantized transformer checkpoints"章节):
| 指标 | 量化版 | bf16 原版 |
|---|---|---|
| 加载时间 | 约 26 秒 | 约 90 秒(加载+现场量化) |
| 常驻显存 | 约 41 GB | 约 69 GB |
| 首帧 LPIPS(越低越接近原版) | INT8: 0.42 / FP8: 0.44 | 基准 |
也就是说,量化后画质与 bf16 原版非常接近,而显存和加载速度提升明显。
二、仓库目录结构一览(5 分钟看懂)
整个仓库是一个标准的 Diffusers 格式模型目录(WanPipeline),入口定义在 model_index.json 中:
| 目录 / 文件 | 内容 | 说明 |
|---|---|---|
| model_index.json | 管线总入口 | 指定 WanPipeline,boundary_ratio: 0.875 即 MoE 双专家切换点 |
| transformer/ | 高噪声专家(bf16) | 12 个分片,共约 57GB,WanTransformer3DModel,40 层 × 40 头 |
| transformer_2/ | 低噪声专家(bf16) | 12 个分片,共约 57GB,结构与 transformer 完全对称 |
| text_encoder/ | UMT5-xxl 文本编码器 | 3 个分片,约 11.4GB,负责理解你的提示词 |
| tokenizer/ | T5 分词器 | 含 spiece.model、tokenizer.json |
| vae/ | 视频 VAE | AutoencoderKLWan,16×16×4 高压缩,z_dim=16 |
| scheduler/ | 采样器配置 | scheduler_config.json:UniPCMultistepScheduler,flow_shift=3.0 |
| samples/ | 生成效果首帧 | FP8/INT8 各 3 张,提示词为 "cute sloth typing on a computer" |
4 个 .pt 文件 |
预量化 checkpoint | INT8×2、FP8×2,每个约 14.5GB |
几个容易混淆的点:
transformer/和transformer_2/是 MoE 的两个专家(bf16 完整权重),分别负责去噪流程的前半段(搭布局)和后半段(修细节)。- 根目录的 4 个
.pt是量化版的对应专家权重:不带后缀对应高噪声专家,-2后缀对应低噪声专家。
三、量化细节:FP8 和 INT8 怎么选?
两种量化方案都由 torchao 动态激活量化实现,细节见 README.md:
- INT8:
Int8DynamicActivationInt8WeightConfig,per-token 动态激活量化 + per-channel 权重量化,底层走torch._int_mm整数矩阵乘。 - FP8:
Float8DynamicActivationFloat8WeightConfig,e4m3 格式、PerRow 粒度,底层走torch._scaled_mm。注意 FP8 方案排除了condition_embedder(文本 padding 产生的全零行会导致动态 scale 失效,加载器需将激活下界设为activation_value_lb=1e-12)。
上面两张是 samples/ 目录中的首帧效果(完整 6 张在 samples/fp8_1.png ~ samples/int8_3.png)。
量化版还有两个"省心"特性:
- 位级一致:加载预量化 checkpoint 与"加载 bf16 后现场量化"逐位相同,只是跳过了现场量化这一步,结果可预期。
- 双专家成对加载(all-or-none):每种方案必须以"专家对"的形式齐全才能加载,缺一个文件整个管线拒绝启动,避免加载到一半才发现缺权重的尴尬。
质量验证方面,unsloth 用相同种子的 dense bf16 视频做了对照(LPIPS-vgg、PSNR、非有限值与黑帧检查,torch 2.10 + torchao 0.17 环境),首帧 LPIPS:INT8 0.42、FP8 0.44,差距极小。
四、双专家 MoE 是如何分工的?
Wan2.2 的 A14B 系列把去噪过程按时间步拆分给两个专家:
- 高噪声专家(对应
transformer/):去噪初期使用,负责确定视频的整体布局和运动骨架; - 低噪声专家(对应
transformer_2/):去噪后期接管,精修纹理与细节。
切换时机由信噪比(SNR)阈值决定:当去噪步 t 小于阈值 t_moe 时切换到低噪声专家,在 model_index.json 中对应 boundary_ratio: 0.875。
单看专家结构,transformer/config.json 显示:40 层、40 个注意力头(头维度 128)、FFN 维度 13824、16 通道输入输出(对应 VAE 的 z_dim=16)、rope_max_seq_len=1024。每个专家约 14B 参数,所以"总参数 27B、每步激活 14B"——用更大的模型容量换取同样的推理成本,这正是 MoE 的意义。
五、如何获取与运行?
一键克隆仓库
git clone https://gitcode.com/hf_mirrors/unsloth/Wan2.2-T2V-A14B-FP8
两种使用姿势
- Diffusers 标准目录:
model_index.json+ 各模块目录就是完整的WanPipeline,可直接配合WanTransformer3DModel、AutoencoderKLWan使用,适合只想跑通流程的新手。 - Unsloth 预量化 checkpoint:加载 4 个
.pt量化权重,配合 torchao 的量化配置(INT8 用Int8DynamicActivationInt8WeightConfig,FP8 用Float8DynamicActivationFloat8WeightConfig),省掉现场量化,显存和速度收益最大,推荐显存紧张的用户。
硬件与环境要求
- 显存:bf16 单卡完整跑需要约 80GB 显存的显卡;量化版常驻约 41GB,建议 48GB 级显卡起步,更小的卡需要多卡 FSDP/Ulysses 切分。
- 软件:torch ≥ 2.4(官方在 torch 2.10 + torchao 0.17 下验证),且需要显卡/驱动支持
torch._int_mm(INT8)或torch._scaled_mm(FP8)硬件加速。 - 许可:模型采用 Apache 2.0 协议(见 LICENSE),商用友好。
六、常见问题 FAQ
Q1:FP8 和 INT8 怎么选?
两者文件体积几乎相同(各约 14.5GB)。INT8 的首帧 LPIPS 略低(0.42 vs 0.44),理论上与原版更接近;FP8 依赖 torch._scaled_mm,在新硬件上矩阵乘效率更高。硬件支持 FP8 且追求速度选 FP8,追求稳选 INT8,画质差异肉眼基本不可分辨。
Q2:为什么文件名有 -2 后缀?
这是低噪声专家的标记:Wan2.2-T2V-A14B-INT8.pt → 高噪声专家(transformer),Wan2.2-T2V-A14B-INT8-2.pt → 低噪声专家(transformer_2)。双专家必须成对齐全才会加载。
Q3:24GB 消费级显卡能跑吗? 不太行。即使量化后单个专家常驻约 41GB,24GB 显存仍不够;建议 48GB 单卡或多卡切分(FSDP + Ulysses)。
七、写在最后
Wan2.2-T2V-A14B-FP8 是"顶级开源视频模型 + 工程化量化"的组合:Wan2.2 的 MoE 双专家架构保证了 480P/720P 视频生成的质量上限,而 unsloth 的预量化 checkpoint 则把"跑不动"变成了"跑得动"——显存省 40%、加载快 3.5 倍,画质几乎无损。如果你计划部署文生视频服务或想在自有硬件上体验 Wan2.2,这个仓库是目前门槛最低的选择之一。
核心资料速查:
- 项目说明与量化细节:README.md
- 管线入口配置:model_index.json
- 专家结构配置:transformer/config.json、transformer_2/config.json
- 采样器配置:scheduler/scheduler_config.json
- 效果示例:samples/
- 开源协议:LICENSE



