Breeze TTS 2部署指南:Docker镜像、A100/H100适配与显存需求全解析

原创2026-10-17 15:41:563,074 阅读

Breeze TTS 2部署指南:Docker镜像、A100/H100适配与显存需求全解析

Breeze TTS 2 是一款面向实时交互的开源权重文本转语音(Text-to-Speech)模型。本指南带你完成 Breeze TTS 2 部署全流程:Docker 镜像构建、A100 / H100 GPU 适配,以及 eager 与 fast 两条推理路径的显存需求解析,帮你在 12GB~80GB 显存的显卡上快速选对配置。

📌 模型概览与硬件门槛

Breeze TTS 2 在 Artificial Analysis TTS 排行榜中位列开源权重模型第一,支持三大核心能力:

能力 说明
🎙️ Voice Clone(声音克隆) 用参考音频 + 准确文字稿复刻音色、节奏与情绪
🎨 Voice Design(声音设计) 仅凭自然语言描述"造"一个声音,无需参考音频
🎛️ Voice Direction(声音执导) 保留参考音色,同时用指令控制语气、语速、情绪

关键规格(来自 config.json):

  • 总参数约 34.7 亿(bfloat16),权重大小约 6.5GB,见 model.safetensors.index.json
  • 骨架为 Qwen3 1B(28 层),音频端基于 Mimi Codec,采样率 24kHz
  • 中英双语,支持 (laugh)、[叹气] 等声音事件内联标记
  • 性能基准(NVIDIA H100 快速路径):首包延迟 < 40ms(TTFA),实时率 0.32(约 3.1 倍实时)

BreezeBlue Breeze TTS 2 文本转语音模型部署项目标识

⚠️ License 提醒:推理代码为 Apache 2.0,但模型权重与自部署产物仅限研究与非商业用途,详见 LICENSE。

📥 一键下载模型检查点

Breeze TTS 2 的模型检查点即本仓库,克隆即可:

git clone https://gitcode.com/hf_mirrors/BreezeBlue/Breeze-TTS-2

检查点内已包含全部推理组件,目录结构如下:

官方 PyTorch 推理代码仓库 breeze-tts(含 infer.py、requirements.txt 与 docker/build.sh)需另行获取,克隆后建议与本检查点放在同级目录:

python -m pip install -r requirements.txt

🐳 Docker 镜像构建:H100 默认,A100 需改架构

官方提供了经过实测的 CUDA 环境,在推理代码仓库中构建镜像:

# 默认目标:H100 / Hopper 架构(sm90)
bash docker/build.sh

# A100 / Ampere 架构(sm80):指定 Flash Attention 编译架构
FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh

💡 为什么 A100 必须加 FLASH_ATTN_CUDA_ARCHS=80? 默认镜像里的 Flash Attention 内核只编译了 sm90(H100)。A100 属于 Ampere(sm80),若不加该环境变量,运行时会出现 Flash Attention 内核不匹配的报错;指定后会在镜像构建阶段为 sm80 重新编译内核,镜像体积略增、耗时稍长。

GPU 架构 构建命令
H100 (SXM/PCIe) Hopper / sm90 bash docker/build.sh
A100 (SXM/PCIe) Ampere / sm80 FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh

💾 显存需求全解析:12GB 还是 24GB?

Breeze TTS 2 提供两条推理路径,显存占用差异明显:

推理模式 显存占用 最低推荐显存 特点
Eager(默认) ≈ 7.7 GiB 12 GB 启动快、零冷启动开销,日常够用
--fast-all(快速路径) ≈ 14.4 GiB 24 GB 启用 CUDA Graph 全阶段加速,延迟/吞吐最优

常见 GPU 选型建议:

显卡 显存 推荐用法
H100 80GB 官方性能基准设备,eager / fast 全开,多并发从容
A100 40/80GB eager / fast 均流畅,fast 路径显存余量充足
RTX 4090 / 3090 24GB eager 很宽裕;fast 路径(14.4GiB)可行
RTX 3060 12GB 仅建议 eager(7.7GiB),官方最低配置

📎 选型口诀:只跑默认 eager 选 12GB 卡;追求 40ms 级低延迟的 fast 路径直接上 24GB 起。

🚀 部署后快速验证(3 条命令)

1)声音克隆(中文)——参考音频需为干净人声,并配准确文字稿:

python infer.py ../breeze-tts-2 \
  --ref-audio reference_zh.wav \
  --ref-text "这是中文参考音频的准确文字稿。" \
  --text "[叹气] 没想到过了这么久,你还记得我的声音。" \
  --output outputs/voice_clone_zh.wav

2)声音设计——无参考音频,纯描述生成声音(--cfg-scale 4 可强化指令遵循):

python infer.py ../breeze-tts-2 \
  --text "[笑] 欢迎来到今晚的故事时间,让我们一起开始吧。" \
  --instruction "一位温柔自信的年轻女性,声音清晰,语气亲切,表达轻快而富有感染力。" \
  --cfg-scale 4 \
  --output outputs/voice_design_zh.wav

3)启动流式 API——输出单声道 24kHz 16-bit PCM 流,可挂 --fast-all 启用快速路径:

python -m breeze_infer.api ../breeze-tts-2 --host 0.0.0.0 --port 7860

快速路径可按阶段独立开关(--fast-text-encoder、--fast-backbone-prefill、--fast-codec 等),一般只需整体使用 --fast-all;各阶段参数主要用于性能剖析与调试。

❓ 常见问题 FAQ

Q:为什么 12GB 显卡跑不了 --fast-all? fast 路径需要约 14.4 GiB,而 12GB 显卡实际可用显存约 11.2 GiB,必然 OOM。此时请回退到默认 eager 模式(≈7.7 GiB)。

Q:A100 上运行报 Flash Attention 相关错误? 默认镜像只含 sm90 内核,请用 FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh 重新构建。

Q:部署出来的音频能商用吗? 不能。权重与自部署产物受 BreezeBlue 研究与非商业许可证约束(见 LICENSE);商用需通过官方托管平台或 API,订阅不赋予自托管产物的商业权利。

Q:必须用 Docker 吗? 不是。Linux + Python 3.10+ + CUDA GPU 环境下,直接 pip install -r requirements.txt 亦可;Docker 的优势是复现官方实测环境,省去依赖排坑。

✅ 小结

  • H100:默认镜像直接构建,fast 路径体验完整(TTFA < 40ms)
  • A100:加 FLASH_ATTN_CUDA_ARCHS=80 构建 sm80 镜像
  • 显存:eager ≈ 7.7 GiB(12GB 起);fast ≈ 14.4 GiB(24GB 起)
  • 检查点:本仓库克隆即用,代码为 Apache 2.0、权重限研究与非商业用途
登录后查看全文
Breeze-TTS-2