9.5GB显存能跑22B视频大模型吗?LTX-2.5-GGUF低显存终极优化清单
9.5GB显存能跑22B视频大模型吗?LTX-2.5-GGUF低显存终极优化清单
可以。答案是肯定的:LTX-2.5-GGUF 把 Lightricks 的 22B 音视频生成大模型(LTX-2.5)量化成了 GGUF 格式,其中 UD-Q2_K_XL 蒸馏版文件只有 9.5GB,配合 8+3 步的快速工作流,让 8GB~12GB 显存的消费级显卡也能生成带同步音频的 1280×704 视频。这篇指南把"低显存跑 22B"的每一步拆成清单,照着做就行。
📦 LTX-2.5-GGUF 是什么
LTX-2.5 是一个开源权重的 22B 音频视频 DiT(Diffusion Transformer),能同时生成画面和同步音频,支持文生视频(t2v)、图生视频(i2v),还支持多镜头一次生成。官方 bf16 全精度权重约 42GB,普通显卡根本塞不下;而本项目用 GGUF 量化把它压缩到了 8.5GB~42GB 不等的多个档位。
它的核心特点是 Unsloth Dynamic 2.0 混精度量化:带 UD- 前缀的文件不是"一刀切"地所有层用同一精度,而是对每一层做敏感度扫描后单独选型。同样体积下,UD- 文件的质量明显优于普通均匀量化文件。
仓库结构(dev 版在根目录,distilled 版在 distilled/ 子目录):
| 目录/文件 | 内容 |
|---|---|
根目录 ltx-2.5-22b-dev-*.gguf |
dev 完整版 DiT(30 步、CFG 3,可训练) |
distilled/ ltx-2.5-22b-distilled-*.gguf |
distilled 蒸馏版 DiT(8+3 步、CFG 1,速度快很多) |
| text_encoders/ | Gemma4 12B 文本编码器(bf16,未量化) |
| vae/ | 视频 VAE(含 ltx-2.5-video-vae-conv-bf16.safetensors 轻量版)与音频 VAE |
| latent_upscale_models/ | x2 潜空间上采样器,多阶段流程必需 |
| samples/ | 各量化档位同种子渲染的第 60 帧对比图 |
文本编码器、VAE、上采样器均保持 bf16 未量化,文件在本仓库中已备好(见
NOTICE说明:这些是对原始权重的未修改重发布副本)。
🎯 9.5GB 显存方案:一步到位的配置
针对 8GB~12GB 显存的显卡,推荐组合如下:
- 模型选 distilled(蒸馏版)——固定 8+3 两步式采样、CFG=1,速度和显存占用都远小于 dev 版的 30 步 + CFG 3;
- 量化选
UD-Q2_K_XL(9.5GB)——比均匀Q2_K(8.46GB)画面干净得多,LPIPS 从 0.567 降到 0.416,而且比 11.3GB 的Q3_K_M还小 1.8GB、质量接近; - 分辨率 1280×704、121 帧、24fps——这是官方示例配置,两阶段流程先低分辨率生成、再经 x2 潜空间上采样细化,比直接拉高分辨率更省显存;
- 用 ComfyUI 的
Unet Loader (GGUF)加载(见下文清单),或在 Unsloth Studio 的视频页直接选 GGUF 文件。
对应文件:distilled/ltx-2.5-22b-distilled-UD-Q2_K_XL.gguf
💡 如果你要追求更高画质的 12GB+ 显存档位,
UD-Q3_K_XL(12GB)是甜点档:LPIPS 0.310,甚至好于更大的Q4_K_M(0.352)。
📊 量化档位怎么选(附官方实测数据)
官方在同一提示词、种子、编码器设置下,对所有 121 帧逐帧计算了 LPIPS(越低越好)和 PSNR(相对 bf16,越高越好),distilled 档位结果如下:
| 文件 | 大小 | 位宽 | LPIPS | PSNR | 适合显存 |
|---|---|---|---|---|---|
| Q2_K | 8.46GB | 3.22 | 0.567 | 14.8dB | 8GB |
| UD-Q2_K_XL ⭐ | 9.50GB | 3.62 | 0.416 | 17.1dB | 8~12GB |
| UD-Q3_K_XL | 12.00GB | 4.57 | 0.310 | 19.1dB | 12~16GB |
| UD-Q4_K_XL 🏆 | 14.00GB | 5.33 | 0.320 | 19.4dB | 16GB 主力推荐 |
| UD-Q5_K_XL | 16.00GB | 6.09 | 0.296 | 20.3dB | 16~24GB |
| Q8_0 | 22.78GB | 8.68 | 0.242 | 21.6dB | 24GB+(最接近 bf16) |
| BF16 | 42.03GB | 16.0 | 0(无损) | — | 48GB+ |
几个实用结论:
- 16GB 显卡首选
UD-Q4_K_XL:官方推荐,比Q4_K_M(13.58GB)质量更好、体积还接近Q5_K_M(15.63GB)的质量,等于花更少的显存拿到更强的画面; - 所有
UD-文件都比同档均匀量化更优,比如 dev 版的 UD-Q3_K_XL(LPIPS 0.246)直接碾压Q4_K_M(0.330); - 想最接近 bf16 效果就上
Q8_0或 BF16(GGUF 路径下与原权重比特级一致)。
各档位的逐帧画质对比见官方示例图 compare_t2v_frame60.png(文生视频)与 compare_i2v_frame60.png(图生视频),以及 t2v 示例视频、i2v 示例视频。
🛠️ ComfyUI 加载 GGUF 的最快配置方法
在支持 LTX-2.5 的最新 ComfyUI 中安装 ComfyUI-GGUF 自定义节点后,操作只需四步:
- 下载文件:把选定的 GGUF(如 UD-Q4_K_XL)放入
models/unet/,文本编码器、视频/音频 VAE、x2 上采样器分别放入models/text_encoders/、models/vae/、models/latent_upscale_models/; - 打开内置模板:选择 ComfyUI 自带的 Text to Video (LTX-2.5) 工作流模板;
- 替换一个节点:把模板里的
Load Diffusion Model节点换成Unet Loader (GGUF),指向你的 GGUF 文件——模板其余部分完全不用动; - 图生视频:把首帧图片接入模板的图片输入即可(对应官方
--image 路径 0 1.0的首帧条件)。
如果不用 ComfyUI,也可以直接用 Python 的
ltx-pipelines走 bf16 权重 +--quantization fp8-cast+--offload cpu的低显存路线,或使用 ltx-2.5-22b-distilled-transformer-bf16.safetensors 等原始 DiT 权重。
🔧 低显存进阶技巧清单
- 控制分辨率和帧数:宽高必须能被 32 整除;帧数满足
num_frames % 8 == 1(如 49、97、121)。显存吃紧时先降分辨率,两阶段流程会自动做 x2 上采样补细节; - 选轻量 Conv VAE:vae/ltx-2.5-video-vae-conv-bf16.safetensors 比 DiffVAE 更快更轻,低显存场景优先;
- 蒸馏版 + 两阶段 8+3 步:官方为 distilled 文件设计了两段式采样(8 步低分辨率 + 3 步上采样后细化),速度只有 dev 版(30 步)的零头,小卡首选;
- dev 版留给训练:ltx-2.5-22b-dev-*.gguf 完整可训练,适合做 LoRA 微调;日常出片用 distilled 版即可。
✅ 总结:一张表带走
| 你的显存 | 推荐文件 | 工作流 |
|---|---|---|
| 8~12GB | UD-Q2_K_XL(9.5GB) | distilled 8+3 步 |
| 12~16GB | UD-Q3_K_XL(12GB) | distilled 8+3 步 |
| 16GB 主力 | UD-Q4_K_XL(14GB) | distilled 8+3 步 |
| 24GB+ | Q8_0 / UD-Q5_K_XL | 按需求选 |
按照这份清单,哪怕只有 9.5GB 显存,也能跑起 22B 级视频大模型并输出带音频的高清片段。更多文件细节与测试方法见 README.md;使用前请留意 LICENSE:LTX-2.x 社区许可证对年收入超过 1000 万美元的商业使用有付费要求,非官方 Lightricks 发行。