Hy-SimulMT SimulInfer部署完全指南:从一键启动到多卡张量并行实战

原创2026-10-27 13:47:211,944 阅读
文章标签:大模型人工智能语音音频多模态本地部署模型量化NLP

Hy-SimulMT SimulInfer部署完全指南:从一键启动到多卡张量并行实战

Hy-SimulMT 是腾讯混元开源的实时同声传译大模型,支持中英双向语音到语音翻译、边听边译,并能实时克隆说话人音色。本仓库(Hy-SimulMT-30B-A3B-GGUF)提供 GGUF 量化模型文件,配合官方 SimulInfer 推理服务,你可以在自己的 GPU 服务器上快速搭建一个带网页界面、支持实时 WebSocket 与音色克隆的同传翻译系统。本文覆盖从一键启动到多卡张量并行的完整部署流程。

Hy-SimulMT 同声传译部署评测:GEMBA 翻译质量与 StreamLAAL 时延对比图

在 RealSI 长音频评测中,Hy-SimulMT 的流式翻译滞后(StreamLAAL)约为 3 秒,为参评系统中最低,翻译质量(GEMBA)也超过了多数开源模型与商业 API。

Hy-SimulMT 与人类同传译员的 StreamLAAL 时延对比

部署前准备:硬件与环境要求

在开始之前,请确认你的机器满足以下条件:

要求 说明
操作系统 Linux
Python 3.12 及以上(已有模型环境时 3.11+ 亦可)
硬件 显存足以容纳所选模型的 NVIDIA GPU
驱动 兼容的 CUDA 驱动、Git

本仓库包含两个 GGUF 量化文件,可按显存情况选择:

模型协议见 LICENSE.txt,详细说明见 README_CN.md。

一键启动 vLLM 推理服务(新环境)

获取项目并进入推理目录:

git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-GGUF Hy-SimulMT
cd Hy-SimulMT
cd SimulInfer

新环境下一条命令即可完成依赖安装与双服务启动:

bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave

使用本地已下载的模型目录时,把模型 ID 替换为路径即可:

bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave

命令会自动创建独立部署环境、安装依赖、准备模型,并依次启动 vLLM 与网页/API 服务。首次运行会下载依赖和模型,请保持命令持续运行。

已有 vLLM 环境或已有模型 API?

如果你已有定制 vLLM/CUDA 环境,建议自行控制依赖版本:

/path/to/model-env/bin/python -m pip install --no-deps simulst
bash deploy.sh --server-python /path/to/model-env/bin/python --model /path/to/model

如果模型 API 已经在别的机器上跑起来了,只需启动 SimulInfer 桥接层:

bash deploy.sh --backend-url http://model-host:8800/v1

打开网页验证翻译是否成功

终端出现 Ready: http://127.0.0.1:8080/ 即部署完成:

  • 本机:浏览器打开 http://127.0.0.1:8080/;
  • 其他机器:打开 http://服务器IP:8080/。

在网页中选择翻译方向,上传音频或开启麦克风实时说话,结束后点击“结束并收尾”。远程使用麦克风需要 HTTPS,可用 HTTPS 端口转发地址访问。

不想开浏览器?命令行也能传文件:

curl -N http://127.0.0.1:8080/translate/stream \
  -F direction=en-zh -F file=@audio.wav

或者用安装好的客户端:

.simulinfer/app-env/bin/simulinfer-client audio.wav --url http://127.0.0.1:8080

部署配置中开启 TTS 后,命令会把返回的翻译语音保存为 outputs/translated.wav;交互式 API 文档位于 /docs。

多卡张量并行部署(Tensor Parallelism)

单卡显存放不下 Q8_0 大模型时,可以跨多张 GPU 做张量并行:

bash deploy.sh --install-server --model /path/to/model --gpus 0,1 --tensor-parallel-size 2

单卡指定显卡则写 --gpus 0。需要固定配置反复使用推荐配置文件方式:

cp deploy.example.toml deploy.toml
# 编辑模型、GPU、端口和可选 TTS 服务地址
bash deploy.sh --config deploy.toml

几个实用细节:

  • 端口冲突:默认网页/API 端口 8080、模型端口 8800,被占用时报错,可用 --port / --model-port 更换;
  • 多实例并行:--runtime-dir .simulinfer-alt 可让多套 SimulInfer 互不干扰;
  • Python 版本:python3 不是目标版本时,命令前加 SIMULINFER_PYTHON=python3.12。

GGUF 路线:llama.cpp 部署说明

本仓库的 GGUF 模型对应 llama.cpp 路线。注意:Hy-SimulMT 的 llama.cpp 适配尚未合并进官方仓库,建议等待支持该模型的新版本发布后再启用。若你已有在 8080 端口加载了 Hy-SimulMT GGUF 的 llama.cpp 服务,可在 Python 3.11+ 环境中启动桥接:

cd SimulInfer
python -m pip install .
export MODEL=/path/to/Hy-SimulMT-30B-A3B-Q8_0.gguf
MODEL_TYPE=target_only python serve_llamacpp.py

要点速记:

  • MODEL 必须与 llama.cpp 服务加载的路径完全一致;
  • MODEL_TYPE 用 target_only(仅译文模型)或 source_target(原文+译文模型);
  • 网页地址为 http://127.0.0.1:8094/(8094 是桥接端口,8080 是 llama.cpp 模型端口);
  • 模型服务不在本机时设置 LLAMA_URL,换网页端口设置 PORT。

常见问题:日志与停止服务

  • 文件与日志都在 SimulInfer/.simulinfer/ 下:环境、生成的 config.toml、网页日志 app.log、模型日志 model.log;
  • 停止服务:直接对部署命令按 Ctrl+C 即可停掉其启动的全部服务;
  • 再次启动:重复执行相同的部署命令即可;
  • 输出模式:网页会自动根据部署的模型显示原文或仅译文,无需手动选择。

💡 小贴士:如果后续想在自己的数据上继续微调,可关注官方 SimulTrain 训练工具(配置位于 SimulTrain/.env),它基于本系列 checkpoint 做继续训练,训练请使用独立的 Python 环境。

按本文步骤操作,你就能在单卡或多卡环境下快速跑起 Hy-SimulMT 的实时同传服务——从开会到访谈,让跨语言交流不再等待。

登录后查看全文
Hy-SimulMT-30B-A3B-GGUF