Hy-SimulMT快速上手:如何用vLLM一条命令跑通实时同传,从部署到WebSocket流式推理完整教程
Hy-SimulMT快速上手:如何用vLLM一条命令跑通实时同传,从部署到WebSocket流式推理完整教程
Hy-SimulMT 是腾讯混元开源的实时同声传译模型,支持中英双向"语音到语音"边听边译。本教程以 Hy-SimulMT-30B-A3B-Interleave-FP8 模型为例,带你用 vLLM 一条部署命令启动同传服务,再体验网页、文件上传与 WebSocket 流式推理三种使用方式,全程面向新手,10 分钟即可跑通。
Hy-SimulMT 实时同传有多强?先看实测数据
同传最难的地方不是"翻译准",而是"边听边译":等更多信息译得准,但听众要更久;早开口则对增量理解要求极高。Hy-SimulMT 就是为平衡翻译质量与响应延迟而生:持续接收音频流,同步产出译文文字(Interleave 版本还会给出原文),并可选 TTS 输出带实时音色克隆的译文语音。
在开源 RealSI 长音频评测中,Hy-SimulMT 的 StreamLAAL 约 3 秒(衡量流式翻译滞后,越低越好),是参评系统中的最低值;GEMBA 质量分则超过多数商业 API。
更直观的是与专业译员的同场对照:在覆盖演讲、访谈、会议等十类领域的 18 段真实音频上,Hy-SimulMT 的翻译质量与 CATTI 一级/二级口译专家持平,而时延往往更低。
选对模型版本:Interleave-FP8 与其他版本的区别
Hy-SimulMT 系列共 6 个版本,本仓库就是其中之一:
| 版本后缀 | 输出内容 | 特点 |
|---|---|---|
| 30B-A3B | 仅译文 | 全精度基座 |
| 30B-A3B-FP8 | 仅译文 | FP8 量化,显存更省 |
| 30B-A3B-Interleave | 原文+译文 | 全精度,边听边看原文 |
| 30B-A3B-Interleave-FP8 | 原文+译文 | FP8 量化,本仓库版本 |
| 以上 + GGUF | — | 供 llama.cpp 等推理引擎使用 |
为什么推荐 FP8 版本? 查看 config.json 可以看到 quantization_config 采用 e4m3 动态量化(128×128 权重块),并对注意力投影、MoE gate 等敏感层保留原始精度,在保证质量的同时显著降低显存占用,更适合单机部署。
几项核心规格(来自 config.json):
- MoE 架构:总参数 30B、每 token 激活约 3B(128 个专家选 8 个 + 1 个共享专家),48 层
- 音频塔:16kHz 采样、128 mel 频带、24 层编码器,权重见 model-audio-tower.safetensors
- 长上下文:最大 262144 tokens,适合长音频会话
- 模型共 17 个分片(
model-00000-of-00017.safetensors等),分片索引见 model.safetensors.index.json;分词器与音频前处理配置分别在 tokenizer.json 和 preprocessor_config.json
部署前准备:硬件与环境要求清单 ⚙️
开始之前,对照检查你的环境:
| 项目 | 要求 | 说明 |
|---|---|---|
| 操作系统 | Linux | 推理服务依赖 Linux 环境 |
| Python | 3.12 及以上 | 新环境会被 deploy.sh 自动处理 |
| GPU | NVIDIA + CUDA 兼容驱动 | 30B FP8 权重约 30GB+,建议单张 80GB 大显存卡,或用多卡张量并行 |
| 依赖 | 新环境自动安装 | 已有环境需 vLLM ≥0.31、支持 HYV3ForCausalLM,并安装 simulst |
💡 提示:
--install-server会在独立隔离环境中安装依赖,不会污染你现有的 Python 环境;若你已有定制 vLLM/CUDA 环境,用后文的--server-python方式接入即可。
一条命令 vLLM 部署:bash deploy.sh 启动同传服务
第 1 步:获取项目并进入推理目录
git clone https://gitcode.com/tencent_hunyuan/Hy-SimulMT-30B-A3B-Interleave-FP8
cd Hy-SimulMT-30B-A3B-Interleave-FP8/SimulInfer
第 2 步:新环境一条命令,装依赖 + 起服务
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave-FP8
这一条命令会依次完成:创建独立环境 → 安装依赖 → 下载并准备模型 → 启动 vLLM 模型服务(默认端口 8800)→ 启动网页/API 服务(默认端口 8080)。首次运行会下载依赖和模型,耐心等待,看到下面这行就成功了:
Ready: http://127.0.0.1:8080/
已有本地模型? 把模型 ID 换成目录路径即可,跳过下载:
bash deploy.sh --install-server --model /path/to/Hy-SimulMT-30B-A3B-Interleave-FP8
已有兼容的 vLLM 环境(含定制 CUDA 构建)? 复用你的模型环境,只为网页服务单独建环境:
/path/to/model-env/bin/python -m pip install --no-deps simulst
bash deploy.sh --server-python /path/to/model-env/bin/python --model /path/to/model
模型 API 已经单独跑起来了? 只启动 SimulInfer 即可:
bash deploy.sh --backend-url http://model-host:8800/v1
常用参数速查表
| 参数 | 作用 |
|---|---|
--model |
模型 ID 或本地模型目录 |
--install-server |
在隔离环境自动安装依赖(新环境首选) |
--server-python |
指定已有 vLLM 环境的 Python 解释器 |
--backend-url |
直连已运行的模型 API,不再启动模型 |
--gpus / --tensor-parallel-size |
选择 GPU 与张量并行数,如 --gpus 0,1 --tensor-parallel-size 2 |
--port / --model-port |
网页/API 端口(默认 8080)/ 模型端口(默认 8800) |
--config |
使用 deploy.toml 配置文件启动(可 cp deploy.example.toml deploy.toml 后修改保存) |
三种使用方式:网页、文件上传与 WebSocket 流式推理
🖥️ 网页实时同传(最直观)
服务器本机打开 http://127.0.0.1:8080/,其他机器访问 http://SERVER_IP:8080/。页面上:
- 选择翻译方向(中译英 / 英译中)
- 上传音频文件,或开启麦克风实时说话
- 结束后点击"结束并收尾"
本模型为 Interleave 版本,页面会自动同时展示原文与译文,无需选择输出模式。远程使用麦克风需要 HTTPS,可通过平台提供的 HTTPS 端口转发地址访问(保留 /proxy/8080/ 等完整路径)。
📁 文件上传流式翻译(一行 curl)
不想开浏览器,用一条命令就能拿到流式结果:
curl -N http://127.0.0.1:8080/translate/stream \
-F direction=en-zh -F file=@audio.wav
也可以用部署时自带安装的客户端:
.simulinfer/app-env/bin/simulinfer-client audio.wav --url http://127.0.0.1:8080
若部署配置中开启了 TTS,返回的译文语音会保存为 outputs/translated.wav。
🌐 WebSocket 流式推理(接入你自己的应用)
实时场景的核心是 WebSocket 接口 /translate/ws:客户端连接后持续推送音频流,服务端边收边返回流式译文(开启 TTS 时同时返回语音流)。接口的完整字段定义可以直接在服务器的 /docs 页面查看交互式 API 文档,照着示例就能把同传能力嵌入会议、访谈类应用中。
停止服务与常见问题速查 🔧
| 场景 | 处理方法 |
|---|---|
| 停止服务 | 在运行 deploy.sh 的终端按 Ctrl+C |
| 端口被占用 | 用 --port / --model-port 换端口 |
python3 不是 3.12 |
命令前加 SIMULINFER_PYTHON=python3.12 |
| 查日志/配置 | SimulInfer/.simulinfer/ 下有 config.toml、app.log(网页服务)与 model.log(模型服务) |
| 再次启动 | 直接重跑同一条部署命令即可 |
新手 FAQ
FP8 量化会明显损失质量吗? 量化采用 e4m3 动态方案,注意力投影与 MoE gate 等敏感层未量化,官方评测中 FP8 系列与全精度版本同属第一梯队,换来的是显著更低的显存门槛。
"Interleave" 到底是什么? 指模型在流式输出中交错产出原文与译文,方便你边听边核对源语言内容,这也是本页面对应模型自动显示原文的原因。
想要音色克隆的语音输出? 部署配置中接入 TTS 服务即可(可选能力),详见 README_CN.md 中"部署推理服务"一节的 TTS 配置说明。
能用 llama.cpp / GGUF 跑吗? 官方 llama.cpp 适配即将推出,当前建议先等支持 Hy-SimulMT 的新版 llama.cpp 发布。
商用可以吗? 模型以 LICENSE.txt 中的 Apache-2.0 协议开源,项目更多介绍见 README_CN.md。
🎯 小结:准备一台带大显存 NVIDIA GPU 的 Linux 机器 → bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave-FP8 一条命令 → 打开 8080 端口页面说句话,你就已经拥有了一台实时中英同传服务。

