bf16 还是 int4?AnimeGen-T2V-A14B-Lightning-bf16 与轻量版的内存、速度与画质完整对比
bf16 还是 int4?AnimeGen-T2V-A14B-Lightning-bf16 与轻量版的内存、速度与画质完整对比
AnimeGen-T2V-A14B-Lightning-bf16 是一个面向 Apple Silicon(MLX 生态)的动漫文生视频模型,它基于 Wan2.2-T2V-A14B 做了全量微调,并预合并了 Lightning 少步蒸馏权重。本文带你完整对比 bf16 与 int4 两种精度在内存占用、推理速度和生成画质上的差异,帮你快速选出最适合自己的版本 🎬。
这个仓库里有什么?
这是一个「开箱即用」的社区版 MLX 权重包:把原生的动漫微调权重 1:1 转换成了 MLX 运行时(Swift-MLX wan-core / Bernini-R)可直接加载的 1095 键 A14B 布局,并且每个专家都已离线合并了 lightning LoRA(high 权重 2.0 / low 权重 1.0),推理时无需再加载 LoRA。
| 文件 | 作用 |
|---|---|
| high_noise_model.safetensors | 高噪声专家(bf16,Lightning 已合并) |
| low_noise_model.safetensors | 低噪声专家(bf16,Lightning 已合并) |
| t5_encoder.safetensors | umT5-XXL 文本编码器 |
| vae.safetensors | Wan2.2 16 通道 VAE |
| config.json | Wan2.2-A14B 模型配置 |
得益于双专家 MoE("dual_model": true,切换边界 boundary: 0.875),每一步只需激活一个约 14B 的专家,这正是「A14B」名称的由来。
bf16 与 int4:内存占用对比 💾
Wan2.2-T2V-A14B 的总参数约 27B(双专家各约 14B)。MLX 在 Apple Silicon 上把权重放在统一内存中,所以可以直接按「参数量 × 精度字节数」估算:
| 版本 | Transformer 权重体积 | 加上 T5 + VAE 后总占用(估算) |
|---|---|---|
| bf16(本仓库) | ≈ 54 GB | ≈ 65 GB 以上 |
| int4(轻量版) | ≈ 14~16 GB | ≈ 25~30 GB |
- 64 GB 统一内存的机器跑 bf16 会比较紧张,建议预留系统开销;96 GB / 128 GB 则很从容。
- 32~48 GB 内存的机器基本只能选 int4。
- 想进一步省内存,还可以在推理时单独量化 T5 编码器(本仓库保留 bf16 原样)。
速度对比:谁生成得更快? ⚡
Apple Silicon 的统一内存带宽是推理速度的主要瓶颈,因此:
- int4 理论上更快:每个参数读取的字节数约为 bf16 的四分之一到一半,带宽压力更小,单步耗时更短,量化反量化(dequant)的额外开销很小。
- bf16 的单步算力利用率更高,但在这类扩散模型上通常追不上 int4 的带宽优势,实际表现为「int4 每步略快,整体生成时间更短」。
- 两者都使用了 Lightning 蒸馏(8 步、免 CFG),相比原版 40 步 + 双向前向的采样,生成时长已经压缩到一个量级以内,这是速度上的最大功臣。
仓库未附官方基准数据,以上为原理性对比;实际速度还取决于分辨率、视频长度和 Mac 具体型号。
画质对比:损失有多大? 🎨
- bf16 无损:完整保留动漫微调 + Lightning 合并后的精度,高频细节(快速动作、发丝、字幕区域)表现最好,颜色过渡更平滑。
- int4 有轻微损失:在细节密集处可能出现轻微模糊或色带,但动漫风格画面本身以平涂色块为主,多数场景下肉眼差异很小;配合 8 步少步采样,压缩精度带来的影响通常进一步被稀释。
- 简单说:追求发布级画质选 bf16,日常预览/快速试 prompt 选 int4。
推荐推理配方(两个版本通用)
无论选哪种精度,都建议沿用 README.md 中模型卡给出的参数(与 config.json 的默认值一致):
- 采样器:euler(FlowMatchEuler),免 CFG(guidance = 1.0)
- 步数:8 steps,shift = 3.0
- 分辨率:832×480 或 1280×720
- 帧数:16 × 秒数 + 1(必须满足 4n+1),帧率 16 fps
这套配方在 bf16 与 int4 上同样适用,切版本时不用改任何参数,非常适合做 A/B 画质对比。
一张表决定:bf16 还是 int4?
| 你的情况 | 推荐版本 |
|---|---|
| 内存 ≥ 96 GB,追求最佳画质 | bf16(本仓库) |
| 内存 64 GB,能接受略紧张 | bf16 |
| 内存 32~48 GB | int4 轻量版 |
| 快速预览、批量试 prompt | int4 轻量版 |
| 正式出片 / 交付 | bf16(可先用 int4 打草稿) |
一句话总结:内存充裕就上 bf16 吃满画质,内存吃紧就用 int4 换速度——Lightning 8 步免 CFG 的设定让两者都能在 Mac 上流畅生成动漫视频,先按内存定版本,再按画质需求微调即可。