对标人工译员实测:Hy-SimulMT-30B-A3B-Interleave-GGUF 在 RealSI、StreamLAAL 与 GEMBA 上的表现完整解析
对标人工译员实测:Hy-SimulMT-30B-A3B-Interleave-GGUF 在 RealSI、StreamLAAL 与 GEMBA 上的表现完整解析
Hy-SimulMT-30B-A3B-Interleave-GGUF 是腾讯混元推出的实时同声传译模型的 GGUF 量化版本,支持中英双向语音到语音翻译,能边听边译并保留说话人音色。本文带你读懂它在 RealSI、StreamLAAL、GEMBA 三大基准上的实测成绩,以及它与专业同传译员同台对照时的真实表现。
想查原始数据与说明,可打开 README_CN.md(中文)与 README.md(英文)查看完整评测表格与视频示例。
先看懂三把"评分尺子":RealSI、StreamLAAL 与 GEMBA
同传评测最怕"只听一个分数"。Hy-SimulMT 的实测同时看三个维度,理解它们才算看懂成绩。
| 指标 | 全称含义 | 方向 | 通俗理解 |
|---|---|---|---|
| RealSI | 长音频公开基准测试集 | — | 模拟真实演讲、访谈的长语音,检验"长时听译"能力 |
| StreamLAAL | 流式翻译滞后量(秒) | 越低越好 | 译文比原话"晚了多少秒",越接近 0 越跟得上 |
| GEMBA | 翻译质量评分 | 越高越好 | 译文是否准确、自然地传达原意 |
一句话概括:RealSI 是"考题",StreamLAAL 量"反应速度",GEMBA 量"翻译质量"。同传模型的难点正在于——既要快(低 StreamLAAL),又要准(高 GEMBA),而这两者往往互相牵制。
RealSI 长音频实测:约 3 秒时延,如何做到"快而不失真"
在开源 RealSI 长音频测试集上,Hy-SimulMT 与多个开源同传模型及商业同传 API 同场比拼。结果有两点关键:
- StreamLAAL 约为 3 秒,是图示所有参评系统中的最低值;
- GEMBA 得分高于所对比的开源模型,并超过了五个商业 API 中的四个。
图中横轴为 StreamLAAL(越低越好),纵轴为 GEMBA(越高越好)。Hy-SimulMT 落在"左上方"的理想区域:时延更低、质量更高。注意 StreamLAAL 不等同于首次开口延迟。
对新手来说,这张图最有说服力的地方在于:它打破了"快就要牺牲质量"的直觉。Hy-SimulMT 在更低的延迟下,仍拿到了有竞争力的翻译质量,说明低延迟与高质量不必二选一。
四个短音频基准:不同场景下的稳定发挥
除长音频外,团队还在 FLEURS、CoVoST2、ACL6060、RealSI-Sentence 四个公开短音频测试集上做了交叉验证,观察模型在不同数据条件下的表现。
| API / Model | FLEURS | CoVoST2 | ACL6060 | RealSI-Sentence |
|---|---|---|---|---|
| Qwen3.8-LiveTranslate | 88.4 | 82.1 | 80.5 | 84.4 |
| Hy-SimulMT | 90.3 | 75.5 | 81.2 | 84.7 |
| Gemini3.5-LiveTranslate | 92.4 | 74.4 | 82.6 | 82.2 |
| Confucius4 R2T2 → T3PO | 89.4 | 76.8 | 76.1 | 77.7 |
| Seed-LiveInterpret2.0 | 85.8 | 67.7 | 74.8 | 80.0 |
| SimulS2ST-Omni | 78.6 | 66.6 | 73.1 | 77.4 |
| GPT-Realtime-Translate | 77.7 | 50.8 | 76.4 | 76.7 |
| XunFei-Simult-Interpretation | 73.4 | 57.0 | 57.5 | 70.9 |
| SeamlessStreaming | 72.8 | 60.9 | 49.8 | 56.9 |
分数越高越好;Hy-SimulMT 整行加粗用于突出本模型,其余加粗为对应列最高分。
几个值得注意的信号:
- 在 FLEURS、ACL6060、RealSI-Sentence 上,Hy-SimulMT 均高于表中其他开源模型;
- RealSI-Sentence 得分 84.7,是所有参评系统中的最高分;
- 不同测试集间的起伏,也帮团队识别出模型的优势项与待改进方向。
真正的硬仗:与 CATTI 一级 / 二级口译专家同台对照
公开基准之外,团队还做了一场"人机同场"测试,这也是本文标题"对标人工译员"的核心。
测试设计:
- 收集了 2026 年 9 月后新出现的 18 段中英文音频,每段约 6 分钟;
- 覆盖演讲、访谈、会议,横跨软件与 AI、医学、制造与能源、自然科学、农业与食品、商务管理、法律、教育、文化文旅、体育生活共十个领域;
- 邀请六位拥有多年同传实战经验的译员:三位持 CATTI 一级口译证书,三位持 CATTI 二级口译证书;每个等级取三人中的最高分进行对照。
Hy-SimulMT 与 CATTI 一级、二级口译专家的 StreamLAAL 时延横向对比。
结论: 在这项小范围能力定位测评中,Hy-SimulMT 的翻译质量已达到人类同传专家水平,而响应速度往往更快(时延更低)。
说明:该结论仅适用于本次样本、参测译员与评测设置,不代表对播报音质、音色相似度等其他维度的综合评价。
GGUF 版本有什么用:本地跑起来的轻量选择
这个仓库的价值,在于把 Hy-SimulMT 打包成了 GGUF 量化格式,方便在 llama.cpp 等本地推理环境中部署。仓库内提供两种量化档位:
- Hy-SimulMT-30B-A3B-Interleave-Q8_0.gguf:Q8_0 量化,体积较大、精度更高;
- Hy-SimulMT-30B-A3B-Interleave-Q4_K_M.gguf:Q4_K_M 量化,体积更小、对硬件更友好。
另外,"Interleave" 指的是模型会同时输出原文与译文(source_target 模式),让你既能看到译文,也能核对原文。
⚠️ 一个实用提示:据 README_CN.md 说明,llama.cpp 对该模型的支持尚未合并进官方仓库,官方建议等待支持该模型的新版 llama.cpp 发布后再使用,避免自行踩坑。
总结:快、准、像人,三件事它都想做到
回到最初的问题——同传模型到底难在哪?难在"快"与"准"的平衡。而这次实测给出的答案是:
- RealSI 上 StreamLAAL 约 3 秒(图示系统最低),GEMBA 领先多数开源模型与商业 API;
- RealSI-Sentence 短音频得分 84.7 居首,多基准表现稳定;
- 与 CATTI 专家同场对照,质量达到人工同传水平,时延还更低;
- 通过 GGUF 量化,把这套能力带到本地 llama.cpp 生态(需等待新版支持)。
对新手而言,这份数据最直接的启示是:实时同声传译正在从"辅助理解"走向"可用沟通"。若你想完整体验中英双向同传与音色克隆,也可在官方 Hy 翻译 App 中试用。

