如何快速上手ComfyUI-VibeVoice:ComfyUI语音克隆TTS节点5分钟安装教程
如何快速上手ComfyUI-VibeVoice:ComfyUI语音克隆TTS节点5分钟安装教程
ComfyUI-VibeVoice 是一个 ComfyUI 语音克隆 TTS(文本转语音)自定义节点,基于微软开源的 VibeVoice 模型,能在 ComfyUI 里一键生成长文本、多说话人对话音频——最多 4 个不同音色同时对话,还支持任意 .wav/.mp3 音频作为音色参考实现语音克隆。本文带你 5 分钟完成安装并生成第一段对话音频。
ComfyUI-VibeVoice 核心功能一览
安装后你会在节点菜单 WMNodes/sound/tts 与 WMNodes/sound/asr 下获得 3 个核心节点:
| 节点 | 功能 | 说明 |
|---|---|---|
| VibeVoice TTS | 文本 → 音频 | 多说话人对话生成 + 语音克隆,一条对话只返回一个完整音频 |
| VibeVoice ASR | 音频 → 文本 | 语音识别,返回带时间戳的说话人分段 |
| Load VibeVoice Model | 加载外部权重 | 可选;指向 GGUF 或量化 safetensors 文件以省显存 |
🎯 主要亮点:
- 多说话人 TTS:一个输出里最多 4 个不同声音,适合播客、有声剧、客服对话
- 高保真语音克隆:任意
.wav/.mp3参考音频即可复刻说话人音色 - 混合模式:克隆音色与"复用参考"的音色可混写在同一段脚本中
- 量化支持:GGUF、fp8、int8、4-bit 均可运行,低显存也能玩
- 自动模型管理:模型首次运行自动下载,由 ComfyUI 显存管理器统一调度
5分钟安装步骤(两种方式任选)
方式一:ComfyUI Manager 一键安装(推荐)
- 打开 ComfyUI 顶部
Manager菜单 - 选择
Install Custom Nodes,搜索ComfyUI-VibeVoice - 点击
Install,完成后重启 ComfyUI
方式二:手动 git clone 安装
进入 ComfyUI 的 custom_nodes 目录执行:
cd ComfyUI/custom_nodes
git clone https://gitcode.com/gh_mirrors/co/ComfyUI-VibeVoice
cd ComfyUI-VibeVoice
pip install -r requirements.txt
依赖清单见 requirements.txt,核心为 transformers、diffusers、soundfile、huggingface_hub 等。重启 ComfyUI 后,新节点即可在 WMNodes/sound/tts 菜单中找到。
💡 可选依赖:想用
sage注意力后端需安装sageattention;想用 4-bit 量化需安装bitsandbytes。
首次生成:4步完成语音克隆对话
第 1 步:添加节点
在画布右键 → Add Node → WMNodes/sound/tts → VibeVoice TTS。
第 2 步:接入参考音频(语音克隆)
添加 Load Audio 节点,选择一段干净的说话人音频(.wav/.mp3 均可,采样率不限会自动重采样),把 AUDIO 输出接到 speaker_1_voice 输入。至少要接一个说话人参考——这是 VibeVoice 的音色锚点,其余说话人留空会自动复用已提供的参考音色。
第 3 步:写对话脚本
在 text 输入框写入台词,两种格式等效:
[1] 你好,我是第一位说话人。
[2] 我是第二位,我们的声音来自参考音频克隆。
Speaker 1: 你好,我是第一位说话人。
Speaker 2: 我是第二位,我们的声音来自参考音频克隆。
第 4 步:排队生成
点击 Queue Prompt。首次运行会自动下载模型(默认 VibeVoice-1.5B,约 3.0 GB)到 ComfyUI/models/tts/VibeVoice/,之后生成完毕直接得到整段对话的 AUDIO 输出,可接 Save Audio 节点保存。
官方提供了一份可直接拖入的示例工作流 VibeVoice_example.json,节点用法源码见 nodes/tts_node.py。
支持的模型与显存需求
模型首次运行自动下载,也可手动放入 ComfyUI/models/tts/VibeVoice/:
| 模型 | 类型 | 体积 | 适用场景 |
|---|---|---|---|
| VibeVoice-1.5B | TTS | 3.0 GB | 日常多说话人对话,默认首选 |
| VibeVoice-7B | TTS | 17.4 GB | 追求更高音质(需大显存) |
| VibeVoice-Realtime-0.5B | 实时 TTS | 1.5 GB | 单说话人低延迟,使用官方 .pt 音色预设 |
| VibeVoice-ASR-HF | ASR | 17.4 GB | 语音识别,输出带时间戳分段 |
📌 省显存技巧:
- 勾选
quantize_llm_4bit:LLM 部分以 4-bit NF4 运行,显存占用大幅降低 - 低显存组合推荐:
ON + sdpa(bfloat16 计算,官方推荐) - 或用
Load VibeVoice Model节点加载 GGUF 量化权重(实现见 nodes/external_loader_node.py)
关键参数速查表
| 参数 | 默认值 | 说明 |
|---|---|---|
model_name |
第一个标准模型 | 模型选择;ASR 模型在 VibeVoice ASR 节点上选 |
cfg_scale |
1.3 |
对参考音色的贴合度,调高更严格(实时模型建议 1.5–1.8) |
inference_steps |
10 |
扩散步数,影响音质与耗时,不影响音频长度 |
max_new_tokens |
0(自动) |
长度预算;被截断就调大 |
attention_mode |
sdpa |
eager(最稳)/ sdpa(均衡)/ flash_attention_2(最快)/ sage |
temperature / top_p |
0.95 |
随机性控制 |
seed |
42 |
固定种子便于对比;0 为每次随机 |
force_offload |
False |
生成后把模型完整移出显存 |
常见问题 FAQ
Q:生成被中途截断了怎么办?
把 max_new_tokens 调大,或缩短脚本长度。实时模型还会在控制台记录所用预算,方便你判断。
Q:为什么说话人必须接参考音频?
VibeVoice 会把每个说话人的音色"锚定"到已提供的参考上,不支持完全无参考的零样本生成。想让某个说话人用克隆音色就接 Load Audio,想复用已有音色就留空。
Q:低显存跑不动?
按顺序尝试:开启 quantize_llm_4bit → 换 GGUF 量化权重 → 开启 force_offload。ASR 模型始终以全精度加载,显存不足时请避开 17.4 GB 的 ASR-HF 权重。
Q:旧工作流里有个 "VibeVoice Realtime TTS" 节点?
该节点已在 v2.10.0 移除,现在统一由 VibeVoice TTS 承担实时模型(在 model_name 里选 VibeVoice-Realtime-0.5B 即可),已保存的工作流只需替换节点,脚本和参数原样保留。详见 CHANGELOG.md。
相关资料
- 完整说明文档:README.md
- 入口与节点注册:vibevoice_nodes.py
- ASR 节点实现:nodes/asr_node.py
- 示例工作流 JSON:example_workflows/VibeVoice_example.json
按照以上步骤,5 分钟即可在 ComfyUI 中跑通 ComfyUI-VibeVoice 语音克隆 TTS 节点。从安装到生成第一段多说话人对话音频,整个过程不超过 10 分钟——现在就去试试吧!🎙️
