ComfyUI低成本接入MOVA:2个节点搞定I2VA/T2VA工作流的安装与配置教程
ComfyUI低成本接入MOVA:2个节点搞定I2VA/T2VA工作流的安装与配置教程
MOVA 是一个在单一模型中同时生成同步视频与音频的开源基础模型。通过 ComfyUI 社区插件 comfyui-mova,你只需 MOVA Model Loader 和 MOVA Generate 这 2 个节点,即可搭建 I2VA(图+文 → 有声视频)和 T2VA(纯文本 → 有声视频)工作流,最低 12GB 显存的消费级显卡就能跑起来。
为什么用 ComfyUI 接入 MOVA:2个节点就够了
传统的"视频+配音"流水线通常是先出画面、再补声音,两步之间容易累积误差、音画对不齐。MOVA 采用原生双模态生成,视频和音频在一次推理中同步产出,因此在口型同步(lip-sync)和环境音效方面表现突出,详见项目说明 README.md。
而在 ComfyUI 中,整套能力被封装成了 2 个节点:
| 节点 | 职责 |
|---|---|
| MOVA Model Loader | 加载 MOVA 模型(360p / 720p),首次运行自动从 HuggingFace 下载权重 |
| MOVA Generate | 生成节点:输入首帧图 + 提示词,输出带音频的视频 |
工作流结构非常直观:加载模型 → 生成 → 保存视频,无需自己拼接推理代码。
ComfyUI MOVA插件一键安装步骤
前提:你已安装好 ComfyUI 本体。
第 1 步:进入插件目录,把 comfyui-mova 克隆到 custom_nodes 下并安装依赖:
cd ComfyUI/custom_nodes
git clone --recursive https://github.com/richservo/comfyui-mova.git
cd comfyui-mova
pip install -r requirements.txt
第 2 步:重启 ComfyUI,在节点搜索框输入 MOVA,即可找到两个新节点。
💡 模型权重无需手动下载:首次使用 MOVA Model Loader 时会从 HuggingFace 自动拉取 MOVA-360p / MOVA-720p,建议预留充足的磁盘空间。
MOVA模型选择:360p vs 720p 怎么选
| 模型 | 能力 | 适用场景 |
|---|---|---|
| MOVA-360p | 支持 I2VA / T2VA | 显存有限的主力选择,消费级显卡首选 |
| MOVA-720p | 支持 I2VA / T2VA,分辨率更高 | 追求画质的 H100 级别硬件 |
对"低成本"用户来说,默认选 360p 即可,配合低显存 offload 策略完全够用(见下文)。
I2VA工作流配置教程:图+文生成有声视频
I2VA(Image-to-Video-Audio)的核心是给 MOVA 一张首帧图,它会围绕这张图生成后续画面并配上同步的语音与环境音。
1️⃣ 准备首帧图
首帧可以是真实照片、截图,也可以是 AI 生成的图片。官方 workflow/ 目录就内置了一套 AI 辅助生成首帧的流程,下面这张就是 AI 生成的首帧示例——一只扑向毛线球的橘猫:
如果是多人对话场景,首帧建议包含所有出场人物(官方多人示例参考 assets/multi_person.png):
2️⃣ 写提示词:台词要写进 prompt
MOVA 的语音内容来自提示词,把角色的台词用引号原样写进 prompt,同时描述环境声与氛围,效果最佳。官方单人示例可参考 scripts/inference_single.py 中的用法:
"A man in a blue blazer and glasses speaks in a formal indoor setting… At one point, he says, "I would also say that this election in Germany wasn't surprising.""
3️⃣ 节点接线与参数
- MOVA Model Loader:选择 MOVA-360p
- MOVA Generate:接上首帧图与 prompt,设置分辨率(360p 下建议 640×352)、推理步数与
seed - 输出视频直接保存为带音轨的
.mp4
T2VA工作流配置教程:纯文本生成有声视频
没有首帧图也想出视频?可以测试 MOVA 的 T2VA(Text-to-Video-Audio) 能力,技巧来自官方 workflow/README.md:
上传一张纯白图片作为首帧,并输入你的文本提示词,即可实现"无有效首帧、仅凭文本生成"。
也就是说,T2VA 工作流与 I2VA 的节点完全相同,唯一区别是首帧输入换成了空白图——2 个节点通吃两种模式。
低显存配置推荐:低成本运行的关键
MOVA 官方给出了 8 秒 360p 视频的推理资源参考(README.md):
| Offload 策略 | 显存 (GB) | 内存 (GB) | 硬件 |
|---|---|---|---|
| Component-wise offload | 48 | 66.7 | RTX 4090 |
| Layerwise (group offload) | 12 | 76.7 | RTX 4090 |
📌 低成本首选:Layerwise group offload 可把显存压到 约 12GB,代价是占用更多内存(约 76GB)且速度更慢——用内存换显存,正是消费级显卡跑 MOVA 的核心思路。
常见问题速查
| 问题 | 快速解决方法 |
|---|---|
| 首次生成特别慢 | 正在自动下载模型权重,属正常现象,等下载完成后会快很多 |
| 显存不足 / OOM | 改用 MOVA-360p + group offload;降低分辨率与帧数 |
| 口型对不上 | 台词用引号完整写入 prompt,并提高 guidance 强度 |
| 找不到节点 | 确认已执行 pip install -r requirements.txt 并重启 ComfyUI |
写在最后
总结一下这套 ComfyUI 低成本 MOVA 方案:克隆 comfyui-mova 插件 → 用 MOVA Model Loader + MOVA Generate 两个节点搭建工作流 → 图+文走 I2VA、纯白首帧图走 T2VA → 低显存用户开 group offload。一条命令装好插件,两分钟搭好工作流,就能在自家显卡上生成音画同步的视频了。


