Hy-SimulMT快速上手:如何用vLLM一条命令跑通实时同传,从部署到WebSocket流式推理完整教程

原创2026-10-27 19:22:271,882 阅读
文章标签:大模型多模态语音NLP模型量化

Hy-SimulMT快速上手:如何用vLLM一条命令跑通实时同传,从部署到WebSocket流式推理完整教程

Hy-SimulMT 是腾讯混元开源的实时同声传译模型,支持中英双向"语音到语音"边听边译。本教程以 Hy-SimulMT-30B-A3B-Interleave-FP8 模型为例,带你用 vLLM 一条部署命令启动同传服务,再体验网页、文件上传与 WebSocket 流式推理三种使用方式,全程面向新手,10 分钟即可跑通。

Hy-SimulMT 实时同传有多强?先看实测数据

同传最难的地方不是"翻译准",而是"边听边译":等更多信息译得准,但听众要更久;早开口则对增量理解要求极高。Hy-SimulMT 就是为平衡翻译质量与响应延迟而生:持续接收音频流,同步产出译文文字(Interleave 版本还会给出原文),并可选 TTS 输出带实时音色克隆的译文语音。

在开源 RealSI 长音频评测中,Hy-SimulMT 的 StreamLAAL 约 3 秒(衡量流式翻译滞后,越低越好),是参评系统中的最低值;GEMBA 质量分则超过多数商业 API。

Hy-SimulMT 实时同传 RealSI 长音频评测:GEMBA 质量分与 StreamLAAL 流式延迟对比图

更直观的是与专业译员的同场对照:在覆盖演讲、访谈、会议等十类领域的 18 段真实音频上,Hy-SimulMT 的翻译质量与 CATTI 一级/二级口译专家持平,而时延往往更低。

Hy-SimulMT 实时同传与 CATTI 一级二级同传专家 StreamLAAL 流式时延横向对比图

选对模型版本:Interleave-FP8 与其他版本的区别

Hy-SimulMT 系列共 6 个版本,本仓库就是其中之一:

版本后缀 输出内容 特点
30B-A3B 仅译文 全精度基座
30B-A3B-FP8 仅译文 FP8 量化,显存更省
30B-A3B-Interleave 原文+译文 全精度,边听边看原文
30B-A3B-Interleave-FP8 原文+译文 FP8 量化,本仓库版本
以上 + GGUF — 供 llama.cpp 等推理引擎使用

为什么推荐 FP8 版本? 查看 config.json 可以看到 quantization_config 采用 e4m3 动态量化(128×128 权重块),并对注意力投影、MoE gate 等敏感层保留原始精度,在保证质量的同时显著降低显存占用,更适合单机部署。

几项核心规格(来自 config.json):

部署前准备:硬件与环境要求清单 ⚙️

开始之前,对照检查你的环境:

项目 要求 说明
操作系统 Linux 推理服务依赖 Linux 环境
Python 3.12 及以上 新环境会被 deploy.sh 自动处理
GPU NVIDIA + CUDA 兼容驱动 30B FP8 权重约 30GB+,建议单张 80GB 大显存卡,或用多卡张量并行
依赖 新环境自动安装 已有环境需 vLLM ≥0.31、支持 HYV3ForCausalLM,并安装 simulst

💡 提示:--install-server 会在独立隔离环境中安装依赖,不会污染你现有的 Python 环境;若你已有定制 vLLM/CUDA 环境,用后文的 --server-python 方式接入即可。

一条命令 vLLM 部署:bash deploy.sh 启动同传服务

第 1 步:获取项目并进入推理目录

git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-Interleave-FP8
cd Hy-SimulMT-30B-A3B-Interleave-FP8/SimulInfer

第 2 步:新环境一条命令,装依赖 + 起服务

bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave-FP8

这一条命令会依次完成:创建独立环境 → 安装依赖 → 下载并准备模型 → 启动 vLLM 模型服务(默认端口 8800)→ 启动网页/API 服务(默认端口 8080)。首次运行会下载依赖和模型,耐心等待,看到下面这行就成功了:

Ready: http://127.0.0.1:8080/

已有本地模型? 把模型 ID 换成目录路径即可,跳过下载:

bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave-FP8

已有兼容的 vLLM 环境(含定制 CUDA 构建)? 复用你的模型环境,只为网页服务单独建环境:

/path/to/model-env/bin/python -m pip install --no-deps simulst
bash deploy.sh --server-python /path/to/model-env/bin/python --model /path/to/model

模型 API 已经单独跑起来了? 只启动 SimulInfer 即可:

bash deploy.sh --backend-url http://model-host:8800/v1

常用参数速查表

参数 作用
--model 模型 ID 或本地模型目录
--install-server 在隔离环境自动安装依赖(新环境首选)
--server-python 指定已有 vLLM 环境的 Python 解释器
--backend-url 直连已运行的模型 API,不再启动模型
--gpus / --tensor-parallel-size 选择 GPU 与张量并行数,如 --gpus 0,1 --tensor-parallel-size 2
--port / --model-port 网页/API 端口(默认 8080)/ 模型端口(默认 8800)
--config 使用 deploy.toml 配置文件启动(可 cp deploy.example.toml deploy.toml 后修改保存)

三种使用方式:网页、文件上传与 WebSocket 流式推理

🖥️ 网页实时同传(最直观)

服务器本机打开 http://127.0.0.1:8080/,其他机器访问 http://SERVER_IP:8080/。页面上:

  1. 选择翻译方向(中译英 / 英译中)
  2. 上传音频文件,或开启麦克风实时说话
  3. 结束后点击"结束并收尾"

本模型为 Interleave 版本,页面会自动同时展示原文与译文,无需选择输出模式。远程使用麦克风需要 HTTPS,可通过平台提供的 HTTPS 端口转发地址访问(保留 /proxy/8080/ 等完整路径)。

📁 文件上传流式翻译(一行 curl)

不想开浏览器,用一条命令就能拿到流式结果:

curl -N http://127.0.0.1:8080/translate/stream \
  -F direction=en-zh -F file=@audio.wav

也可以用部署时自带安装的客户端:

.simulinfer/app-env/bin/simulinfer-client audio.wav --url http://127.0.0.1:8080

若部署配置中开启了 TTS,返回的译文语音会保存为 outputs/translated.wav。

🌐 WebSocket 流式推理(接入你自己的应用)

实时场景的核心是 WebSocket 接口 /translate/ws:客户端连接后持续推送音频流,服务端边收边返回流式译文(开启 TTS 时同时返回语音流)。接口的完整字段定义可以直接在服务器的 /docs 页面查看交互式 API 文档,照着示例就能把同传能力嵌入会议、访谈类应用中。

停止服务与常见问题速查 🔧

场景 处理方法
停止服务 在运行 deploy.sh 的终端按 Ctrl+C
端口被占用 用 --port / --model-port 换端口
python3 不是 3.12 命令前加 SIMULINFER_PYTHON=python3.12
查日志/配置 SimulInfer/.simulinfer/ 下有 config.toml、app.log(网页服务)与 model.log(模型服务)
再次启动 直接重跑同一条部署命令即可

新手 FAQ

FP8 量化会明显损失质量吗? 量化采用 e4m3 动态方案,注意力投影与 MoE gate 等敏感层未量化,官方评测中 FP8 系列与全精度版本同属第一梯队,换来的是显著更低的显存门槛。

"Interleave" 到底是什么? 指模型在流式输出中交错产出原文与译文,方便你边听边核对源语言内容,这也是本页面对应模型自动显示原文的原因。

想要音色克隆的语音输出? 部署配置中接入 TTS 服务即可(可选能力),详见 README_CN.md 中"部署推理服务"一节的 TTS 配置说明。

能用 llama.cpp / GGUF 跑吗? 官方 llama.cpp 适配即将推出,当前建议先等支持 Hy-SimulMT 的新版 llama.cpp 发布。

商用可以吗? 模型以 LICENSE.txt 中的 Apache-2.0 协议开源,项目更多介绍见 README_CN.md。

🎯 小结:准备一台带大显存 NVIDIA GPU 的 Linux 机器 → bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave-FP8 一条命令 → 打开 8080 端口页面说句话,你就已经拥有了一台实时中英同传服务。

登录后查看全文
Hy-SimulMT-30B-A3B-Interleave-FP8