ComfyUI-WanVideoWrapper项目中的显存优化问题分析与解决方案

问题背景

在使用ComfyUI-WanVideoWrapper进行视频生成时，用户遇到了显存不足(OOM)的问题。该用户使用的是NVIDIA RTX 3090显卡，拥有24GB显存，系统内存为32GB。尽管尝试了多种配置组合，包括调整交换空间(max swap 40)和不同的模型加载策略，问题依然存在。

问题分析

从错误日志可以看出，问题发生在模型加载阶段，系统尝试将模型加载到显存时出现了内存不足的情况。深入分析后，我们发现几个关键点：

1. 模型加载策略不当：用户尝试了多种模型加载组合，包括将所有组件(CLIP文本编码器、T5文本编码器、主模型)全部加载到显存或全部卸载到系统内存，以及部分加载到显存部分卸载到系统内存的组合，但均未能解决问题。

2. 高显存模式的影响：最终发现问题的根源在于用户使用了--high-vram模式。这个模式会强制将所有模型组件加载到显存中，而WanVideoWrapper的模型体积较大，即使24GB显存也无法满足需求。

3. 系统资源分配：32GB的系统内存在处理大型视频生成模型时可能略显不足，特别是在需要将部分模型组件卸载到系统内存的情况下。

解决方案

针对这一问题，我们建议采取以下优化措施：

1. 禁用高显存模式：这是最关键的一步。在ComfyUI的启动参数中移除--high-vram选项，让系统能够智能地分配模型组件到显存和系统内存。

2. 合理的模型加载策略：建议采用以下加载配置：

   • 主模型：加载到显存
   • CLIP文本编码器：卸载到系统内存
   • T5文本编码器：卸载到系统内存

3. 系统优化：

   • 确保系统交换空间足够大
   • 关闭不必要的后台程序，释放更多系统资源
   • 考虑升级系统内存到64GB以获得更好的性能

4. 批次处理优化：

   • 降低视频分辨率或帧率
   • 使用较小的模型版本(如GGUF格式)
   • 分批次处理视频片段

技术原理

WanVideoWrapper作为视频生成模型，其内存需求主要来自三个方面：

1. 模型参数：视频生成模型通常包含大量参数，需要大量显存存储。

2. 中间计算结果：在生成过程中会产生大量中间计算结果，这些数据也需要存储在显存中。

3. 视频数据缓存：处理视频时需要缓存多帧数据，进一步增加了内存压力。

通过合理的模型加载策略和资源分配，可以显著降低显存使用量，使24GB显存的显卡也能流畅运行视频生成任务。

总结

在使用ComfyUI-WanVideoWrapper进行视频生成时，合理配置显存和系统内存的使用至关重要。避免使用--high-vram模式，采用分组件加载策略，并适当优化系统配置，可以有效解决显存不足的问题。对于拥有24GB显存的用户，通过上述优化完全可以流畅运行视频生成任务。