ComfyUI-CogVideoXWrapper全面指南：视频创作的AI赋能工具

ComfyUI-CogVideoXWrapper是一款功能强大的ComfyUI插件，为创作者提供文本转视频、图像转视频及ControlNet控制等核心功能，通过直观的工作流设计让AI视频创作变得简单高效，无论是新手还是专业用户都能快速上手。

🚀 核心功能概览

文本转视频：文字驱动的动态影像创作

文本转视频功能允许用户通过文字描述直接生成视频内容，核心特性包括：

• 支持CogVideoX 5b模型，自动下载至ComfyUI/models/CogVideo/CogVideoX-5b目录
• 基于diffusers 0.30.1及以上版本构建，与SD3和Flux共享T5模型
• 内置fp8优化技术，有效降低显存占用
• 灵活的显存管理：采样阶段仅需5-6GB显存，VAE解码阶段峰值约13-14GB

图像转视频：静态画面的动态延伸

提供两种图像转视频解决方案：

官方I2V模型支持

直接集成THUDM官方I2V模型，专为图像转视频任务优化，适合需要高质量转换的场景。

CogVideoX-Fun模型支持

第三方开发的多功能模型，不仅限于dwpose骨架输入，几乎任何图像都可作为视频生成的起点，创意自由度更高。

ControlNet控制：视频生成的精准调控

通过nodes.py中实现的ControlNet功能，用户可精细控制视频生成过程：

• 调整控制强度(control_strength)参数控制效果影响程度
• 设置控制开始百分比(control_start_percent)和结束百分比(control_end_percent)
• 实现从局部到整体的视频生成控制，满足精细创作需求

⚡ 性能优化与高级特性

全方位性能优化方案

插件提供多重优化选项，适应不同硬件条件：

• fp8优化：通过fp8_optimization.py实现显存高效利用
• torch.compile优化：提升模型运行速度
• SageAttention支持：Linux系统专属加速，提供20-30%性能提升
• FasterCache支持：以适度增加显存使用为代价换取生成速度提升

Tora轨迹控制

通过tora/traj_module.py和tora/traj_utils.py实现精细运动轨迹控制，为视频添加更自然的镜头运动效果，增强视频的专业感和观赏性。

📋 快速上手流程

安装步骤

1. 克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/co/ComfyUI-CogVideoXWrapper

2. 安装依赖：

pip install -r requirements.txt

3. 将整个目录复制到ComfyUI的custom_nodes目录下，重启ComfyUI即可使用

预设工作流使用

example_workflows目录提供多种场景化工作流，直接加载即可使用：

• cogvideox_1_0_5b_T2V_02.json：基础文本转视频工作流
• cogvideox_1_0_5b_I2V_02.json：标准图像转视频工作流
• cogvideox_1_0_2b_controlnet_02.json：ControlNet控制工作流
• cogvideox_Fun_pose_02.json：姿态控制专用工作流
• cogvideox_Fun_180_orbit_02.json：180度环绕效果工作流

💡 应用案例解析

创意短视频制作

利用文本转视频功能，输入"夕阳下的城市天际线，云层缓慢移动"，配合Tora轨迹控制实现镜头缓慢推进效果，快速生成氛围感十足的短视频内容。

产品展示动画

通过图像转视频功能，将产品图片转换为360度旋转展示视频，结合ControlNet控制产品细节的清晰度和运动节奏，提升产品展示效果。

教育内容创作

使用图像转视频功能将静态教学图表转换为动态演示视频，通过调整控制参数突出重点内容，增强教学效果。

❓ 常见问题解答

Q: 运行时提示显存不足怎么办？
A: 可启用fp8优化（通过fp8_optimization.py配置），或减少视频长度和分辨率，也可尝试关闭其他占用显存的应用。

Q: 生成的视频运动不自然如何解决？
A: 调整Tora轨迹控制参数，或尝试使用cogvideox_Fun_pose_02.json工作流，通过姿态控制优化运动连贯性。

Q: 如何提高视频生成速度？
A: 在Linux系统下可启用SageAttention加速，或在设置中开启FasterCache选项，同时确保已安装最新版本的依赖库。

📁 项目结构解析

核心文件与目录功能：

• 配置文件：configs/目录下包含各模型的配置文件，如scheduler_config_5b.json和transformer_config_I2V_5b.json
• 功能实现：pipeline_cogvideox.py为视频生成主流程，nodes.py定义了ComfyUI中的节点组件
• 工具函数：utils.py和cogvideox_fun/utils.py提供各类辅助功能
• 优化模块：fp8_optimization.py实现显存优化，mz_gguf_loader.py提供模型加载支持

ComfyUI-CogVideoXWrapper通过模块化设计，为视频创作者提供了灵活而强大的AI创作工具，无论是快速原型制作还是精细视频创作，都能满足多样化的创作需求。通过不断探索预设工作流和参数调整，用户可以逐步掌握AI视频生成的核心技巧，释放创意潜能。