快速上手 Hy-SimulMT:5分钟下载模型,体验中英双向实时同传与音色克隆

原创2026-10-27 19:23:221,980 阅读
文章标签:人工智能大模型语音多模态NLP基础模型音视频

快速上手 Hy-SimulMT:5分钟下载模型,体验中英双向实时同传与音色克隆

Hy-SimulMT 是腾讯混元开源的实时同声传译大模型,支持中英双向的语音到语音翻译:说话人还在说,它就在边听边译,同步给出译文文字与语音,并支持实时音色克隆,保留说话人的声音特点。本仓库 Hy-SimulMT-30B-A3B-Interleave 正是其官方模型权重之一,本文将带你 5 分钟完成下载与部署,快速体验这款低延迟 AI 同传模型。

🚀 先认识一下:这个同传大模型能做什么

  • 边说边译:持续接收音频流,无需等说话人说完就输出译文;
  • 中英双向:中文 → 英文、英文 → 中文两个方向都支持;
  • 语音到语音:不仅出文字,还能输出目标语言语音(需配置 TTS 服务);
  • 实时音色克隆:翻译语音会保留原说话人的音色特征,多人对话时容易区分"谁在说话";
  • Interleave 版本特色:本仓库的 Interleave 模型会同时输出原文与译文(另有仅输出译文的变体),页面会根据部署的模型自动展示,无需切换输出模式。

在官方 RealSI 长音频评测中,Hy-SimulMT 的 StreamLAAL 约 3 秒(翻译滞后指标,越低越好),为参评系统中最低;GEMBA 翻译质量得分则超过了所对比的开源模型和 5 个商业 API 中的 4 个。

Hy-SimulMT中英实时同声传译模型在RealSI长音频评测中的GEMBA翻译质量与StreamLAAL时延对比

横轴为 StreamLAAL(秒,越低越好),纵轴为 GEMBA 质量分(越高越好);StreamLAAL 不等同于首次开口延迟。

⚡ 效果速览:比肩专业译员,速度还更快

除公开基准外,官方还邀请 6 位持 CATTI 一、二级口译证书的专业译员,对 18 段约 6 分钟的新增中英音频做同场对照:Hy-SimulMT 的翻译质量达到人类同传专家水平,响应速度往往更低时延、更快。

Hy-SimulMT与CATTI一级二级专业同传译员的中英实时同传StreamLAAL时延对比

Hy-SimulMT实时同传与人类译员的人工评测准确率及时延对比图

📥 第一步:5 分钟下载模型权重

Hy-SimulMT 家族按输出内容和精度提供多个变体,本仓库即 Interleave 版,还有对应的 FP8 量化版与 GGUF 版适配不同硬件:

模型变体 输出内容 适用场景
Hy-SimulMT-30B-A3B 仅译文 通用实时同传
Hy-SimulMT-30B-A3B-Interleave 原文 + 译文 本仓库,需同屏查看原文与译文
上述模型 -FP8 系列 同上 显存更小的 GPU(FP8 量化)
上述模型 -GGUF 系列 同上 llama.cpp / 更轻量部署

选择对你最方便的下载方式(三选一即可):

# 方式一:Hugging Face(模型 ID 为 tencent/Hy-SimulMT-30B-A3B-Interleave)
huggingface-cli download tencent/Hy-SimulMT-30B-A3B-Interleave

# 方式二:ModelScope
modelscope download --model Tencent-Hunyuan/Hy-SimulMT-30B-A3B-Interleave

# 方式三:Git 直接克隆(需 git-lfs)
git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-Interleave

下载完成后得到与仓库同名的目录,核心文件如下(权重合计约 60 GB):

🖥️ 第二步:一键部署推理服务,打开网页即体验

官方项目仓库提供 SimulInfer 推理服务,支持网页、音频文件上传、实时 WebSocket 与可选 TTS 音色克隆。准备一台 Linux 机器(Python 3.12+、Git、NVIDIA GPU),在 SimulInfer 目录执行一条命令:

# 新环境:一条命令安装依赖并启动模型与网页服务(使用本地模型目录)
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave

# 也可以直接传模型 ID,由服务自动下载
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave

命令会创建独立环境、准备模型,依次启动 vLLM 与网页/API 服务;首次运行需下载依赖,请耐心等待。看到如下提示后,用浏览器打开该地址(其他机器访问 http://SERVER_IP:8080/):

Ready: http://127.0.0.1:8080/

操作很简单:选择翻译方向 → 上传音频文件或开启麦克风 → 结束后点击"结束并收尾",即可拿到实时同传结果。远程使用麦克风需要 HTTPS,可借助平台的 HTTPS 端口转发地址(保留 /proxy/8080/ 等完整路径)。

也习惯命令行上传的话:

curl -N http://127.0.0.1:8080/translate/stream \
  -F direction=en-zh -F file=@audio.wav

🎙️ 第三步:开启 TTS,体验实时音色克隆

上面的文字同传开箱即用;要体验翻译语音 + 音色克隆,只需在部署配置里填上 TTS 服务地址:

cp deploy.example.toml deploy.toml
# 修改模型、GPU、端口以及可选的 TTS 服务地址
bash deploy.sh --config deploy.toml

TTS 开启后,同一命令返回的语音会自动保存为 outputs/translated.wav,可直接播放。对于多位说话人的音频,模型会为不同说话人分别生成保留其音色特点的目标语言语音,让听众在获取译文的同时,轻松分辨"谁在说话"。

❓ 新手常见疑问

Hy-SimulMT 需要多大显存?

30B 完整精度权重约 60 GB,建议 A100/H100(80 GB)级单卡,或双卡张量并行(--gpus 0,1 --tensor-parallel-size 2);显存不足可选 FP8 或 GGUF 版本。

端口被占用或想换端口怎么办?

默认网页/API 端口 8080、本机模型端口 8800,冲突时用 --port 或 --model-port 指定其他端口;按 Ctrl+C 即可停止本次启动的服务。

不想搭环境,可以直接体验吗?

不想配置环境的话,可以直接在 Hy 翻译 App 中体验 Hy-SimulMT 的中英双向同传。

✅ 写在最后

从下载权重到打开网页,核心操作只有三步:下载模型 → 一键部署 → 打开 8080 体验。想深入细节(手动部署、TTS 配置、SimulTrain 继续训练),建议阅读官方文档 README_CN.md 与 README.md;项目采用 LICENSE.txt(Apache-2.0)许可发布,可放心学习与集成。让 AI 同传减少跨语言交流的等待,现在就开始试试吧。

登录后查看全文
Hy-SimulMT-30B-A3B-Interleave