如何快速部署Hy-SimulMT实时同传服务?vLLM一键部署完整指南

原创2026-10-27 12:05:191,916 阅读
文章标签:人工智能大模型语音多模态模型量化

如何快速部署Hy-SimulMT实时同传服务?vLLM一键部署完整指南

Hy-SimulMT 是腾讯混元推出的实时同传大模型,支持中英双向语音到语音翻译与实时音色克隆。本文带你用 vLLM 一键部署 Hy-SimulMT 实时同传服务:在一台 Linux 服务器上,借助一键部署脚本 deploy.sh,三步即可从环境安装到打开可用的网页同传页面。

先了解:Hy-SimulMT 能做什么?

同声传译的难点在于“边听边译”——说话还在继续,译文就要及时出来。Hy-SimulMT 针对会议、演讲、访谈等实时场景设计,核心能力如下:

能力 说明
双向语音翻译 中文 ↔ 英文语音到语音,持续接收音频、边听边译,同步产出译文文字与语音
实时音色克隆 保留说话人的音色特点,多人对话也能区分“谁在说话”(需配置 TTS 服务)
低延迟 在 RealSI 长音频评测中,StreamLAAL 约 3 秒,为参评系统最低
MoE 架构 总参数 30B、每 token 激活约 3B(A3B),兼顾质量与推理效率

本仓库是模型的 FP8 量化版(Hy-SimulMT-30B-A3B-FP8)。在 config.json 中可以看到 quantization_config 采用 FP8(e4m3、128×128 分块)量化,显著降低了显存需求;模型权重合计约 30 GB(见 model.safetensors.index.json 中的 total_size)。模型主体为 HYV3 MoE 架构:48 层、每层 128 个路由专家、每 token 激活 8 个专家,另有独立的音频塔(audio tower)处理 16 kHz 输入音频。

部署前环境准备:一张清单核对

项目 要求
操作系统 Linux
Python 3.12 及以上
GPU 显存足够容纳所选模型的 NVIDIA GPU
驱动 与 CUDA 兼容的驱动
vLLM 已有环境需 ≥ 0.31 且支持 HYV3ForCausalLM;全新环境会由脚本自动安装
工具 Git

💡 提示:本仓库是 FP8 量化版本,比非量化版本更省显存;若单卡显存不足,还可以用多卡张量并行扩展。

vLLM 一键部署:三步完成

第 1 步:克隆项目并进入推理目录

git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-FP8 Hy-SimulMT
cd Hy-SimulMT/SimulInfer

第 2 步:执行一键部署命令

全新环境下,带 --install-server 参数即可让脚本自动创建独立部署环境、安装依赖、准备模型,并依次启动 vLLM 与网页/API 服务:

# 本地已有模型文件时,直接把模型路径填给 --model
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-FP8

首次运行会下载依赖及模型文件(如需要),耗时较长,请保持命令窗口持续运行。

第 3 步:打开网页,开始同传

看到 Ready: http://127.0.0.1:8080/ 后:

  • 在服务器上直接用浏览器打开该地址;
  • 从其他机器访问 http://SERVER_IP:8080/;
  • 选择翻译方向(en-zh 或 zh-en),上传音频文件,或开启麦克风实时同传;
  • 说完后点击“结束并收尾”。

远程使用麦克风需要 HTTPS 环境,可使用平台提供的 HTTPS 端口转发地址,并保留 /proxy/8080/ 等完整路径前缀。

三种常见场景:选对部署方式

你的场景 命令要点 说明
全新服务器 bash deploy.sh --install-server --model ... 自动安装全部依赖,最适合新手
已有兼容的 vLLM 环境 bash deploy.sh --server-python /path/to/model-env/bin/python --model ... 复用现有模型环境,网页服务单独建环境
模型 API 已启动 bash deploy.sh --backend-url http://model-host:8800/v1 只启动 SimulInfer 服务

使用第二种方式时,先在模型环境里安装 simulst:

/path/to/model-env/bin/python -m pip install --no-deps simulst

不止网页:命令行也能调用同传服务

SimulInfer 同时提供 REST API,支持音频上传与实时 WebSocket。命令行直接上传音频:

curl -N http://127.0.0.1:8080/translate/stream \
  -F direction=en-zh -F file=@audio.wav

部署配置开启 TTS 后,同一命令还会把返回的译文语音保存为 outputs/translated.wav;交互式 API 文档位于服务的 /docs 路径。页面会根据部署的模型自动显示源文或仅显示译文,无需再选择输出模式。

常见部署问题速查

问题 快速解决
端口被占用 用 --port(默认 8080)或 --model-port(默认 8800)换端口
显存不够 使用本 FP8 量化版,或多卡并行:--gpus 0,1 --tensor-parallel-size 2
python3 版本不对 命令前加 SIMULINFER_PYTHON=python3.12
想保存部署配置 cp deploy.example.toml deploy.toml,修改后 bash deploy.sh --config deploy.toml
排查启动问题 查看 SimulInfer/.simulinfer/ 下的 app.log、model.log

⚠️ 注意:重复执行带 --install-server 的命令会重新执行安装步骤,可能重装 SimulInfer 或调整依赖版本;若使用定制 vLLM/CUDA 环境,请改用 --server-python 方式。服务随时可用 Ctrl+C 停止。

总结

  • 一键部署核心命令:bash deploy.sh --install-server --model <模型路径>;
  • 默认网页端口 8080、本机模型端口 8800,Ctrl+C 停止服务;
  • 本页面的 FP8 量化模型约 30 GB 权重,部署门槛更低;
  • 想要在自己的数据上继续训练,可关注项目配套的 SimulTrain 训练工具。

更多细节可参阅仓库中的 README_CN.md、generation_config.json、chat_template.jinja 与 preprocessor_config.json。

登录后查看全文
Hy-SimulMT-30B-A3B-FP8