如何快速部署Hy-SimulMT实时同传服务?vLLM一键部署完整指南
如何快速部署Hy-SimulMT实时同传服务?vLLM一键部署完整指南
Hy-SimulMT 是腾讯混元推出的实时同传大模型,支持中英双向语音到语音翻译与实时音色克隆。本文带你用 vLLM 一键部署 Hy-SimulMT 实时同传服务:在一台 Linux 服务器上,借助一键部署脚本 deploy.sh,三步即可从环境安装到打开可用的网页同传页面。
先了解:Hy-SimulMT 能做什么?
同声传译的难点在于“边听边译”——说话还在继续,译文就要及时出来。Hy-SimulMT 针对会议、演讲、访谈等实时场景设计,核心能力如下:
| 能力 | 说明 |
|---|---|
| 双向语音翻译 | 中文 ↔ 英文语音到语音,持续接收音频、边听边译,同步产出译文文字与语音 |
| 实时音色克隆 | 保留说话人的音色特点,多人对话也能区分“谁在说话”(需配置 TTS 服务) |
| 低延迟 | 在 RealSI 长音频评测中,StreamLAAL 约 3 秒,为参评系统最低 |
| MoE 架构 | 总参数 30B、每 token 激活约 3B(A3B),兼顾质量与推理效率 |
本仓库是模型的 FP8 量化版(Hy-SimulMT-30B-A3B-FP8)。在 config.json 中可以看到 quantization_config 采用 FP8(e4m3、128×128 分块)量化,显著降低了显存需求;模型权重合计约 30 GB(见 model.safetensors.index.json 中的 total_size)。模型主体为 HYV3 MoE 架构:48 层、每层 128 个路由专家、每 token 激活 8 个专家,另有独立的音频塔(audio tower)处理 16 kHz 输入音频。
部署前环境准备:一张清单核对
| 项目 | 要求 |
|---|---|
| 操作系统 | Linux |
| Python | 3.12 及以上 |
| GPU | 显存足够容纳所选模型的 NVIDIA GPU |
| 驱动 | 与 CUDA 兼容的驱动 |
| vLLM | 已有环境需 ≥ 0.31 且支持 HYV3ForCausalLM;全新环境会由脚本自动安装 |
| 工具 | Git |
💡 提示:本仓库是 FP8 量化版本,比非量化版本更省显存;若单卡显存不足,还可以用多卡张量并行扩展。
vLLM 一键部署:三步完成
第 1 步:克隆项目并进入推理目录
git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-FP8 Hy-SimulMT
cd Hy-SimulMT/SimulInfer
第 2 步:执行一键部署命令
全新环境下,带 --install-server 参数即可让脚本自动创建独立部署环境、安装依赖、准备模型,并依次启动 vLLM 与网页/API 服务:
# 本地已有模型文件时,直接把模型路径填给 --model
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-FP8
首次运行会下载依赖及模型文件(如需要),耗时较长,请保持命令窗口持续运行。
第 3 步:打开网页,开始同传
看到 Ready: http://127.0.0.1:8080/ 后:
- 在服务器上直接用浏览器打开该地址;
- 从其他机器访问
http://SERVER_IP:8080/; - 选择翻译方向(en-zh 或 zh-en),上传音频文件,或开启麦克风实时同传;
- 说完后点击“结束并收尾”。
远程使用麦克风需要 HTTPS 环境,可使用平台提供的 HTTPS 端口转发地址,并保留
/proxy/8080/等完整路径前缀。
三种常见场景:选对部署方式
| 你的场景 | 命令要点 | 说明 |
|---|---|---|
| 全新服务器 | bash deploy.sh --install-server --model ... |
自动安装全部依赖,最适合新手 |
| 已有兼容的 vLLM 环境 | bash deploy.sh --server-python /path/to/model-env/bin/python --model ... |
复用现有模型环境,网页服务单独建环境 |
| 模型 API 已启动 | bash deploy.sh --backend-url http://model-host:8800/v1 |
只启动 SimulInfer 服务 |
使用第二种方式时,先在模型环境里安装 simulst:
/path/to/model-env/bin/python -m pip install --no-deps simulst
不止网页:命令行也能调用同传服务
SimulInfer 同时提供 REST API,支持音频上传与实时 WebSocket。命令行直接上传音频:
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
部署配置开启 TTS 后,同一命令还会把返回的译文语音保存为 outputs/translated.wav;交互式 API 文档位于服务的 /docs 路径。页面会根据部署的模型自动显示源文或仅显示译文,无需再选择输出模式。
常见部署问题速查
| 问题 | 快速解决 |
|---|---|
| 端口被占用 | 用 --port(默认 8080)或 --model-port(默认 8800)换端口 |
| 显存不够 | 使用本 FP8 量化版,或多卡并行:--gpus 0,1 --tensor-parallel-size 2 |
python3 版本不对 |
命令前加 SIMULINFER_PYTHON=python3.12 |
| 想保存部署配置 | cp deploy.example.toml deploy.toml,修改后 bash deploy.sh --config deploy.toml |
| 排查启动问题 | 查看 SimulInfer/.simulinfer/ 下的 app.log、model.log |
⚠️ 注意:重复执行带 --install-server 的命令会重新执行安装步骤,可能重装 SimulInfer 或调整依赖版本;若使用定制 vLLM/CUDA 环境,请改用 --server-python 方式。服务随时可用 Ctrl+C 停止。
总结
- 一键部署核心命令:
bash deploy.sh --install-server --model <模型路径>; - 默认网页端口 8080、本机模型端口 8800,Ctrl+C 停止服务;
- 本页面的 FP8 量化模型约 30 GB 权重,部署门槛更低;
- 想要在自己的数据上继续训练,可关注项目配套的 SimulTrain 训练工具。
更多细节可参阅仓库中的 README_CN.md、generation_config.json、chat_template.jinja 与 preprocessor_config.json。