快速上手 Hy-SimulMT:5分钟下载模型,体验中英双向实时同传与音色克隆
快速上手 Hy-SimulMT:5分钟下载模型,体验中英双向实时同传与音色克隆
Hy-SimulMT 是腾讯混元开源的实时同声传译大模型,支持中英双向的语音到语音翻译:说话人还在说,它就在边听边译,同步给出译文文字与语音,并支持实时音色克隆,保留说话人的声音特点。本仓库 Hy-SimulMT-30B-A3B-Interleave 正是其官方模型权重之一,本文将带你 5 分钟完成下载与部署,快速体验这款低延迟 AI 同传模型。
🚀 先认识一下:这个同传大模型能做什么
- 边说边译:持续接收音频流,无需等说话人说完就输出译文;
- 中英双向:中文 → 英文、英文 → 中文两个方向都支持;
- 语音到语音:不仅出文字,还能输出目标语言语音(需配置 TTS 服务);
- 实时音色克隆:翻译语音会保留原说话人的音色特征,多人对话时容易区分"谁在说话";
- Interleave 版本特色:本仓库的 Interleave 模型会同时输出原文与译文(另有仅输出译文的变体),页面会根据部署的模型自动展示,无需切换输出模式。
在官方 RealSI 长音频评测中,Hy-SimulMT 的 StreamLAAL 约 3 秒(翻译滞后指标,越低越好),为参评系统中最低;GEMBA 翻译质量得分则超过了所对比的开源模型和 5 个商业 API 中的 4 个。
横轴为 StreamLAAL(秒,越低越好),纵轴为 GEMBA 质量分(越高越好);StreamLAAL 不等同于首次开口延迟。
⚡ 效果速览:比肩专业译员,速度还更快
除公开基准外,官方还邀请 6 位持 CATTI 一、二级口译证书的专业译员,对 18 段约 6 分钟的新增中英音频做同场对照:Hy-SimulMT 的翻译质量达到人类同传专家水平,响应速度往往更低时延、更快。
📥 第一步:5 分钟下载模型权重
Hy-SimulMT 家族按输出内容和精度提供多个变体,本仓库即 Interleave 版,还有对应的 FP8 量化版与 GGUF 版适配不同硬件:
| 模型变体 | 输出内容 | 适用场景 |
|---|---|---|
| Hy-SimulMT-30B-A3B | 仅译文 | 通用实时同传 |
| Hy-SimulMT-30B-A3B-Interleave | 原文 + 译文 | 本仓库,需同屏查看原文与译文 |
| 上述模型 -FP8 系列 | 同上 | 显存更小的 GPU(FP8 量化) |
| 上述模型 -GGUF 系列 | 同上 | llama.cpp / 更轻量部署 |
选择对你最方便的下载方式(三选一即可):
# 方式一:Hugging Face(模型 ID 为 tencent/Hy-SimulMT-30B-A3B-Interleave)
huggingface-cli download tencent/Hy-SimulMT-30B-A3B-Interleave
# 方式二:ModelScope
modelscope download --model Tencent-Hunyuan/Hy-SimulMT-30B-A3B-Interleave
# 方式三:Git 直接克隆(需 git-lfs)
git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-Interleave
下载完成后得到与仓库同名的目录,核心文件如下(权重合计约 60 GB):
- model-00000-of-00017.safetensors ~ model-00016-of-00017.safetensors:17 个 LLM 权重量化分片,分片映射见 model.safetensors.index.json
- model-audio-tower.safetensors:音频编码器(24 层 Encoder,16 kHz 输入)
- config.json:模型结构——30B 总参数、128 个 MoE 专家、每 token 仅激活 8 个(约 3B 激活参数)、48 层、256K 上下文
- tokenizer.json、tokenizer_config.json、chat_template.jinja:分词器与对话模板
- generation_config.json:默认生成参数
- README_CN.md:完整中文项目文档(部署、训练、评测细节都在这里)
🖥️ 第二步:一键部署推理服务,打开网页即体验
官方项目仓库提供 SimulInfer 推理服务,支持网页、音频文件上传、实时 WebSocket 与可选 TTS 音色克隆。准备一台 Linux 机器(Python 3.12+、Git、NVIDIA GPU),在 SimulInfer 目录执行一条命令:
# 新环境:一条命令安装依赖并启动模型与网页服务(使用本地模型目录)
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave
# 也可以直接传模型 ID,由服务自动下载
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave
命令会创建独立环境、准备模型,依次启动 vLLM 与网页/API 服务;首次运行需下载依赖,请耐心等待。看到如下提示后,用浏览器打开该地址(其他机器访问 http://SERVER_IP:8080/):
Ready: http://127.0.0.1:8080/
操作很简单:选择翻译方向 → 上传音频文件或开启麦克风 → 结束后点击"结束并收尾",即可拿到实时同传结果。远程使用麦克风需要 HTTPS,可借助平台的 HTTPS 端口转发地址(保留 /proxy/8080/ 等完整路径)。
也习惯命令行上传的话:
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
🎙️ 第三步:开启 TTS,体验实时音色克隆
上面的文字同传开箱即用;要体验翻译语音 + 音色克隆,只需在部署配置里填上 TTS 服务地址:
cp deploy.example.toml deploy.toml
# 修改模型、GPU、端口以及可选的 TTS 服务地址
bash deploy.sh --config deploy.toml
TTS 开启后,同一命令返回的语音会自动保存为 outputs/translated.wav,可直接播放。对于多位说话人的音频,模型会为不同说话人分别生成保留其音色特点的目标语言语音,让听众在获取译文的同时,轻松分辨"谁在说话"。
❓ 新手常见疑问
Hy-SimulMT 需要多大显存?
30B 完整精度权重约 60 GB,建议 A100/H100(80 GB)级单卡,或双卡张量并行(--gpus 0,1 --tensor-parallel-size 2);显存不足可选 FP8 或 GGUF 版本。
端口被占用或想换端口怎么办?
默认网页/API 端口 8080、本机模型端口 8800,冲突时用 --port 或 --model-port 指定其他端口;按 Ctrl+C 即可停止本次启动的服务。
不想搭环境,可以直接体验吗?
不想配置环境的话,可以直接在 Hy 翻译 App 中体验 Hy-SimulMT 的中英双向同传。
✅ 写在最后
从下载权重到打开网页,核心操作只有三步:下载模型 → 一键部署 → 打开 8080 体验。想深入细节(手动部署、TTS 配置、SimulTrain 继续训练),建议阅读官方文档 README_CN.md 与 README.md;项目采用 LICENSE.txt(Apache-2.0)许可发布,可放心学习与集成。让 AI 同传减少跨语言交流的等待,现在就开始试试吧。


