Hy-SimulMT SimulInfer部署完全指南:从一键启动到多卡张量并行实战
Hy-SimulMT SimulInfer部署完全指南:从一键启动到多卡张量并行实战
Hy-SimulMT 是腾讯混元开源的实时同声传译大模型,支持中英双向语音到语音翻译、边听边译,并能实时克隆说话人音色。本仓库(Hy-SimulMT-30B-A3B-GGUF)提供 GGUF 量化模型文件,配合官方 SimulInfer 推理服务,你可以在自己的 GPU 服务器上快速搭建一个带网页界面、支持实时 WebSocket 与音色克隆的同传翻译系统。本文覆盖从一键启动到多卡张量并行的完整部署流程。
在 RealSI 长音频评测中,Hy-SimulMT 的流式翻译滞后(StreamLAAL)约为 3 秒,为参评系统中最低,翻译质量(GEMBA)也超过了多数开源模型与商业 API。
部署前准备:硬件与环境要求
在开始之前,请确认你的机器满足以下条件:
| 要求 | 说明 |
|---|---|
| 操作系统 | Linux |
| Python | 3.12 及以上(已有模型环境时 3.11+ 亦可) |
| 硬件 | 显存足以容纳所选模型的 NVIDIA GPU |
| 驱动 | 兼容的 CUDA 驱动、Git |
本仓库包含两个 GGUF 量化文件,可按显存情况选择:
- Hy-SimulMT-30B-A3B-Q4_K_M.gguf:约 18.4GB,显存较紧张时的首选;
- Hy-SimulMT-30B-A3B-Q8_0.gguf:约 31.1GB,精度更高。
模型协议见 LICENSE.txt,详细说明见 README_CN.md。
一键启动 vLLM 推理服务(新环境)
获取项目并进入推理目录:
git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-GGUF Hy-SimulMT
cd Hy-SimulMT
cd SimulInfer
新环境下一条命令即可完成依赖安装与双服务启动:
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave
使用本地已下载的模型目录时,把模型 ID 替换为路径即可:
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave
命令会自动创建独立部署环境、安装依赖、准备模型,并依次启动 vLLM 与网页/API 服务。首次运行会下载依赖和模型,请保持命令持续运行。
已有 vLLM 环境或已有模型 API?
如果你已有定制 vLLM/CUDA 环境,建议自行控制依赖版本:
/path/to/model-env/bin/python -m pip install --no-deps simulst
bash deploy.sh --server-python /path/to/model-env/bin/python --model /path/to/model
如果模型 API 已经在别的机器上跑起来了,只需启动 SimulInfer 桥接层:
bash deploy.sh --backend-url http://model-host:8800/v1
打开网页验证翻译是否成功
终端出现 Ready: http://127.0.0.1:8080/ 即部署完成:
- 本机:浏览器打开
http://127.0.0.1:8080/; - 其他机器:打开
http://服务器IP:8080/。
在网页中选择翻译方向,上传音频或开启麦克风实时说话,结束后点击“结束并收尾”。远程使用麦克风需要 HTTPS,可用 HTTPS 端口转发地址访问。
不想开浏览器?命令行也能传文件:
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
或者用安装好的客户端:
.simulinfer/app-env/bin/simulinfer-client audio.wav --url http://127.0.0.1:8080
部署配置中开启 TTS 后,命令会把返回的翻译语音保存为 outputs/translated.wav;交互式 API 文档位于 /docs。
多卡张量并行部署(Tensor Parallelism)
单卡显存放不下 Q8_0 大模型时,可以跨多张 GPU 做张量并行:
bash deploy.sh --install-server --model /path/to/model --gpus 0,1 --tensor-parallel-size 2
单卡指定显卡则写 --gpus 0。需要固定配置反复使用推荐配置文件方式:
cp deploy.example.toml deploy.toml
# 编辑模型、GPU、端口和可选 TTS 服务地址
bash deploy.sh --config deploy.toml
几个实用细节:
- 端口冲突:默认网页/API 端口 8080、模型端口 8800,被占用时报错,可用
--port/--model-port更换; - 多实例并行:
--runtime-dir .simulinfer-alt可让多套 SimulInfer 互不干扰; - Python 版本:
python3不是目标版本时,命令前加SIMULINFER_PYTHON=python3.12。
GGUF 路线:llama.cpp 部署说明
本仓库的 GGUF 模型对应 llama.cpp 路线。注意:Hy-SimulMT 的 llama.cpp 适配尚未合并进官方仓库,建议等待支持该模型的新版本发布后再启用。若你已有在 8080 端口加载了 Hy-SimulMT GGUF 的 llama.cpp 服务,可在 Python 3.11+ 环境中启动桥接:
cd SimulInfer
python -m pip install .
export MODEL=/path/to/Hy-SimulMT-30B-A3B-Q8_0.gguf
MODEL_TYPE=target_only python serve_llamacpp.py
要点速记:
MODEL必须与 llama.cpp 服务加载的路径完全一致;MODEL_TYPE用target_only(仅译文模型)或source_target(原文+译文模型);- 网页地址为
http://127.0.0.1:8094/(8094 是桥接端口,8080 是 llama.cpp 模型端口); - 模型服务不在本机时设置
LLAMA_URL,换网页端口设置PORT。
常见问题:日志与停止服务
- 文件与日志都在
SimulInfer/.simulinfer/下:环境、生成的config.toml、网页日志app.log、模型日志model.log; - 停止服务:直接对部署命令按
Ctrl+C即可停掉其启动的全部服务; - 再次启动:重复执行相同的部署命令即可;
- 输出模式:网页会自动根据部署的模型显示原文或仅译文,无需手动选择。
💡 小贴士:如果后续想在自己的数据上继续微调,可关注官方 SimulTrain 训练工具(配置位于
SimulTrain/.env),它基于本系列 checkpoint 做继续训练,训练请使用独立的 Python 环境。
按本文步骤操作,你就能在单卡或多卡环境下快速跑起 Hy-SimulMT 的实时同传服务——从开会到访谈,让跨语言交流不再等待。

