实时音色克隆实战:Hy-SimulMT-30B-A3B-Interleave-GGUF 语音到语音翻译的 TTS 配置全解析
实时音色克隆实战:Hy-SimulMT-30B-A3B-Interleave-GGUF 语音到语音翻译的 TTS 配置全解析
Hy-SimulMT-30B-A3B-Interleave-GGUF 是腾讯混元 Hy-SimulMT 实时同声传译大模型的 GGUF 权重仓库,支持中英双向语音到语音翻译与实时音色克隆。本文面向新手,完整解析如何为这套语音翻译模型配置 TTS(文本转语音)服务,让你用 GGUF 权重跑出保留说话人音色的目标语言语音,快速上手同传级体验。
先认识这个仓库:2 款 GGUF 量化模型
这个仓库只存放模型权重文件,共两款量化版本,适合不同显存/内存条件的机器:
| 文件 | 量化格式 | 文件大小 | 说明 |
|---|---|---|---|
| Hy-SimulMT-30B-A3B-Interleave-Q4_K_M.gguf | Q4_K_M | 约 19.7 GB | 精度与体积折中,低显存首选 |
| Hy-SimulMT-30B-A3B-Interleave-Q8_0.gguf | Q8_0 | 约 33.3 GB | 更高精度,接近原始效果 |
💡 名字里的 Interleave 是关键:它表示模型会同时输出原文文字和译文(source text + translation),网页界面会自动展示原文,无需手动选择输出模式。如果只想要译文,应选不带 Interleave 的基础版模型。
模型本体基于 30B-A3B 的 MoE 架构,在 RealSI 长音频评测中 StreamLAAL 时延约 3 秒,为参评系统最低;GEMBA 质量分超过多数商业 API。许可证为 Apache-2.0,详见 LICENSE.txt。
为什么 GGUF 模型要单独配置 TTS?
很多人疑惑:既然是"语音到语音"翻译,为什么还要配 TTS?
原理很简单:
- 模型负责"听"和"译" —— 它持续接收音频流,边听边输出译文文字流;
- TTS 负责"说" —— 译文文字交给 TTS 服务合成语音;
- 音色克隆由 TTS 侧完成 —— 系统从输入音频中提取说话人音色特征,让 TTS 用"原说话人的声音"播报译文。
也就是说,语音输出与音色克隆能力依赖一个已配置好的 TTS 服务,模型本身不直接出声。这也是 SimulInfer 推理服务把 TTS 设计为"可选连接"的原因:不开 TTS 时只做文字同传,开了 TTS 才是完整的语音到语音翻译。
音色克隆效果有多真实?
在官方英文 → 中文演示中,输入包含三位不同说话人,模型能分别呈现各自音色,让听众在获取译文的同时分清"谁在说话"。
在专业译员对照评测中,Hy-SimulMT 的翻译质量达到 CATTI 一级、二级口译专家水平,且响应往往更快。
TTS 配置实战:3 种部署方式
先获取模型仓库(约 20~33 GB,请预留磁盘空间):
git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-Interleave-GGUF
以下部署步骤基于配套的 SimulInfer 推理项目执行,本仓库提供的是模型权重文件。
方式一:新环境一键部署(推荐新手)
在 SimulInfer 目录中,一条命令安装依赖并启动模型 + 网页服务:
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave
首次运行会下载依赖并准备模型,保持命令持续运行即可。
方式二:用 deploy.toml 开启 TTS 音色克隆
这是本文的核心步骤。TTS 连接地址通过配置文件管理:
cp deploy.example.toml deploy.toml
# 编辑模型、GPU、端口,以及可选的 TTS 服务地址
bash deploy.sh --config deploy.toml
在 deploy.toml 中填入你的 TTS 服务地址后,SimulInfer 即启用语音输出与输入音色克隆。配置文件生成后会保存在 SimulInfer/.simulinfer/config.toml,日志位于同目录下的 app.log 与 model.log,方便排查 TTS 连接问题。
常用扩展参数:
bash deploy.sh --install-server --model /path/to/model --gpus 0,1 --tensor-parallel-size 2
若端口被占用,用 --port(网页/API,默认 8080)或 --model-port(本机模型,默认 8800)更换端口。
方式三:llama.cpp 加载 GGUF + serve_llamacpp.py 桥接
本仓库的 GGUF 权重正是为 llama.cpp 准备的。前提:支持音频输入的 llama.cpp 服务已在 8080 端口加载了 GGUF 模型,然后在 Python 3.11+ 环境中:
cd SimulInfer
python -m pip install .
export MODEL=/path/to/Hy-SimulMT-30B-A3B-Interleave-Q8_0.gguf
MODEL_TYPE=source_target python serve_llamacpp.py
⚠️ 重点:Interleave 模型必须使用 MODEL_TYPE=source_target(原文 + 译文同出);仅译文模型才用 target_only。配错会导致网页端内容显示异常。
注意:Hy-SimulMT 的适配尚未合并进 llama.cpp 官方版本,官方说明建议等待支持该模型的新版发布后再使用,见 README_CN.md 中 llama.cpp 小节。
验证 TTS 是否生效
服务启动后看到 Ready: http://127.0.0.1:8080/(llama.cpp 桥接为 http://127.0.0.1:8094/),浏览器打开选择翻译方向,上传音频或开启麦克风,结束后点击"结束并收尾"。
命令行上传并验证:
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
部署配置开启了 TTS 后,命令会额外把合成语音保存为 outputs/translated.wav —— 播放它,听到的应该是带着原说话人音色的翻译语音,这就是音色克隆的效果。
新手常见问题速查
| 问题 | 解决 |
|---|---|
| 端口被占用报错 | --port / --model-port 指定其他端口 |
| 远程麦克风无法使用 | 需要 HTTPS,使用平台提供的 HTTPS 端口转发地址 |
| 模型显示"没有原文" | 确认用的是 Interleave 模型且 MODEL_TYPE=source_target |
| Q4_K_M 与 Q8_0 怎么选 | 显存紧张选 Q4_K_M(约 19.7 GB);追求精度选 Q8_0(约 33.3 GB) |
| TTS 无声输出 | 检查 deploy.toml 中 TTS 服务地址,并查看 .simulinfer/ 下的日志 |
写在最后
Hy-SimulMT-30B-A3B-Interleave-GGUF 把同传级语音翻译能力装进了轻量 GGUF 格式:模型负责边听边译,TTS 配置负责用"原声"开口说话。按本文 3 种方式完成 TTS 配置后,你就能在会议、访谈、演讲等场景里,体验低延迟、保留音色的中英双向语音到语音翻译。更多中文说明见 README_CN.md,英文文档见 README.md。


