如何快速上手ComfyUI-VibeVoice:ComfyUI语音克隆TTS节点5分钟安装教程

原创2026-11-15 12:12:302,319 阅读

如何快速上手ComfyUI-VibeVoice:ComfyUI语音克隆TTS节点5分钟安装教程

ComfyUI-VibeVoice 是一个 ComfyUI 语音克隆 TTS(文本转语音)自定义节点,基于微软开源的 VibeVoice 模型,能在 ComfyUI 里一键生成长文本、多说话人对话音频——最多 4 个不同音色同时对话,还支持任意 .wav/.mp3 音频作为音色参考实现语音克隆。本文带你 5 分钟完成安装并生成第一段对话音频。

ComfyUI-VibeVoice 语音克隆 TTS 节点工作流示例

ComfyUI-VibeVoice 核心功能一览

安装后你会在节点菜单 WMNodes/sound/tts 与 WMNodes/sound/asr 下获得 3 个核心节点:

节点 功能 说明
VibeVoice TTS 文本 → 音频 多说话人对话生成 + 语音克隆,一条对话只返回一个完整音频
VibeVoice ASR 音频 → 文本 语音识别,返回带时间戳的说话人分段
Load VibeVoice Model 加载外部权重 可选;指向 GGUF 或量化 safetensors 文件以省显存

🎯 主要亮点:

  • 多说话人 TTS:一个输出里最多 4 个不同声音,适合播客、有声剧、客服对话
  • 高保真语音克隆:任意 .wav / .mp3 参考音频即可复刻说话人音色
  • 混合模式:克隆音色与"复用参考"的音色可混写在同一段脚本中
  • 量化支持:GGUF、fp8、int8、4-bit 均可运行,低显存也能玩
  • 自动模型管理:模型首次运行自动下载,由 ComfyUI 显存管理器统一调度

5分钟安装步骤(两种方式任选)

方式一:ComfyUI Manager 一键安装(推荐)

  1. 打开 ComfyUI 顶部 Manager 菜单
  2. 选择 Install Custom Nodes,搜索 ComfyUI-VibeVoice
  3. 点击 Install,完成后重启 ComfyUI

方式二:手动 git clone 安装

进入 ComfyUI 的 custom_nodes 目录执行:

cd ComfyUI/custom_nodes
git clone https://gitcode.com/gh_mirrors/co/ComfyUI-VibeVoice
cd ComfyUI-VibeVoice
pip install -r requirements.txt

依赖清单见 requirements.txt,核心为 transformers、diffusers、soundfile、huggingface_hub 等。重启 ComfyUI 后,新节点即可在 WMNodes/sound/tts 菜单中找到。

💡 可选依赖:想用 sage 注意力后端需安装 sageattention;想用 4-bit 量化需安装 bitsandbytes。

首次生成:4步完成语音克隆对话

第 1 步:添加节点 在画布右键 → Add Node → WMNodes/sound/tts → VibeVoice TTS。

第 2 步:接入参考音频(语音克隆) 添加 Load Audio 节点,选择一段干净的说话人音频(.wav/.mp3 均可,采样率不限会自动重采样),把 AUDIO 输出接到 speaker_1_voice 输入。至少要接一个说话人参考——这是 VibeVoice 的音色锚点,其余说话人留空会自动复用已提供的参考音色。

第 3 步:写对话脚本 在 text 输入框写入台词,两种格式等效:

[1] 你好,我是第一位说话人。
[2] 我是第二位,我们的声音来自参考音频克隆。
Speaker 1: 你好,我是第一位说话人。
Speaker 2: 我是第二位,我们的声音来自参考音频克隆。

第 4 步:排队生成 点击 Queue Prompt。首次运行会自动下载模型(默认 VibeVoice-1.5B,约 3.0 GB)到 ComfyUI/models/tts/VibeVoice/,之后生成完毕直接得到整段对话的 AUDIO 输出,可接 Save Audio 节点保存。

官方提供了一份可直接拖入的示例工作流 VibeVoice_example.json,节点用法源码见 nodes/tts_node.py。

支持的模型与显存需求

模型首次运行自动下载,也可手动放入 ComfyUI/models/tts/VibeVoice/:

模型 类型 体积 适用场景
VibeVoice-1.5B TTS 3.0 GB 日常多说话人对话,默认首选
VibeVoice-7B TTS 17.4 GB 追求更高音质(需大显存)
VibeVoice-Realtime-0.5B 实时 TTS 1.5 GB 单说话人低延迟,使用官方 .pt 音色预设
VibeVoice-ASR-HF ASR 17.4 GB 语音识别,输出带时间戳分段

📌 省显存技巧:

  • 勾选 quantize_llm_4bit:LLM 部分以 4-bit NF4 运行,显存占用大幅降低
  • 低显存组合推荐:ON + sdpa(bfloat16 计算,官方推荐)
  • 或用 Load VibeVoice Model 节点加载 GGUF 量化权重(实现见 nodes/external_loader_node.py)

关键参数速查表

参数 默认值 说明
model_name 第一个标准模型 模型选择;ASR 模型在 VibeVoice ASR 节点上选
cfg_scale 1.3 对参考音色的贴合度,调高更严格(实时模型建议 1.5–1.8)
inference_steps 10 扩散步数,影响音质与耗时,不影响音频长度
max_new_tokens 0(自动) 长度预算;被截断就调大
attention_mode sdpa eager(最稳)/ sdpa(均衡)/ flash_attention_2(最快)/ sage
temperature / top_p 0.95 随机性控制
seed 42 固定种子便于对比;0 为每次随机
force_offload False 生成后把模型完整移出显存

常见问题 FAQ

Q:生成被中途截断了怎么办? 把 max_new_tokens 调大,或缩短脚本长度。实时模型还会在控制台记录所用预算,方便你判断。

Q:为什么说话人必须接参考音频? VibeVoice 会把每个说话人的音色"锚定"到已提供的参考上,不支持完全无参考的零样本生成。想让某个说话人用克隆音色就接 Load Audio,想复用已有音色就留空。

Q:低显存跑不动? 按顺序尝试:开启 quantize_llm_4bit → 换 GGUF 量化权重 → 开启 force_offload。ASR 模型始终以全精度加载,显存不足时请避开 17.4 GB 的 ASR-HF 权重。

Q:旧工作流里有个 "VibeVoice Realtime TTS" 节点? 该节点已在 v2.10.0 移除,现在统一由 VibeVoice TTS 承担实时模型(在 model_name 里选 VibeVoice-Realtime-0.5B 即可),已保存的工作流只需替换节点,脚本和参数原样保留。详见 CHANGELOG.md。

相关资料

按照以上步骤,5 分钟即可在 ComfyUI 中跑通 ComfyUI-VibeVoice 语音克隆 TTS 节点。从安装到生成第一段多说话人对话音频,整个过程不超过 10 分钟——现在就去试试吧!🎙️

登录后查看全文
ComfyUI-VibeVoice