从 1.8B 到 30B:混元翻译家族的产品线开始显形

原创2026-10-28 18:57:522,000 阅读
文章标签:人工智能大模型语音多模态模型量化

从 1.8B 到 30B:混元翻译家族的产品线开始显形

2026 年 10 月 26 日,腾讯混元开源了同声传译模型 Hy-SimulMT,仓库名里的 30B-A3B-FP8 几乎把它的技术路线写在脸上:总参数 30B、每 token 激活 3B、FP8 量化。但如果只把它当成"又一个更大的翻译模型",就会错过这条产品线真正的变化——过去一年,混元的翻译能力经历了三代形态,参数规模从 1.8B 一路涨到 30B,而每一次增长都不是简单的放大,而是换了一种被使用的方式。

本文基于当前仓库的真实配置与权重索引,结合社区对前两代模型的实测反馈,尝试回答三个问题:三代模型各自在做什么、这次开源放了什么又留了什么、以及作为使用者该如何在这条产品线上选型。

三代模型,三种被使用的方式

混元翻译线的演化时间点相当清晰。2025 年 9 月,Hunyuan-MT-7B 开源,主打"用 70 亿参数在 WMT2025 拿到 30 个语种冠军",社区讨论的焦点是训练框架与小模型效率;2025 年 12 月底,HY-MT1.5 系列上线,1.8B 与 7B 双规模并行,1.8B 经 INT8 量化后显存占用可压到 2GB 以内,能在消费级显卡甚至嵌入式设备上跑实时推理;再到 2026 年 10 月的 Hy-SimulMT,能力边界从"文本进、文本出"跨到了"语音进、语音出"。

这条线上三代模型的定位分工,其实可以用一个维度概括:输入端离人有多近。

代际 代表模型 输入/输出 典型部署位置 解决的核心问题
第一代 Hunyuan-MT-7B 文本 → 文本 云端单卡 翻译质量本身(WMT 语种覆盖)
第二代 HY-MT1.5-1.8B / 7B 文本 → 文本 边缘设备 / 云端 质量与推理成本的平衡,术语干预、上下文、格式保留
第三代 Hy-SimulMT-30B-A3B 流式语音 → 译文文本 + 语音 单卡 GPU 服务端 延迟本身:边听边译,且保留说话人音色

前两代的社区实践几乎都围绕"工程接入"展开:1.8B 被反复用于会议同传字幕、金融文档翻译、播客字幕生成,vLLM + Chainlit 几乎成了标准起手式;7B 则被用于对术语一致性要求更高的场景。这些文章共享一个隐含前提——先有文本,再谈翻译。ASR 在前,翻译在中,TTS 在后,三段式流水线里每一段都在累加延迟。

Hy-SimulMT 改变的正是这个前提。按 README_CN.md 的描述,它"支持中文与英文之间的双向语音到语音翻译,说话人的音频可以持续输入,模型边听边译"。这不是把文本翻译模型套上一层语音外壳,而是把"何时开口"变成了模型自己需要学习的能力——在同传里,等待更多上下文能提高准确率,但会让听众干等;过早开口则要求模型具备增量理解和自我修正的能力。README 中引用广外高翻学院副院长王巍巍的评价时也点明了这一机制:"为控制延迟,系统先开口、后修补,修补的听感接近译员的自我修正。"

于是三代模型实际上构成了三个不同的产品位:7B 是质量基线,1.8B 是成本与边缘的答案,30B-A3B 则是把"延迟"当成一等公民来优化的结果。参数规模的跃迁只是表象,真正的分水岭是输入从"完整句子"变成了"还在持续增长的音频流"。

拆开 30B-A3B:为什么必须是 MoE

把 config.json 打开,"30B-A3B"这个命名可以被逐项验证,而不是一句宣传语。

模型是 48 层、hidden size 2048 的 MoE 结构,每层 128 个路由专家、每 token 激活 8 个,另有 1 个共享专家,专家中间维度 768:

"num_hidden_layers": 48,
"hidden_size": 2048,
"num_experts": 128,
"num_experts_per_tok": 8,
"num_shared_experts": 1,
"moe_intermediate_size": 768,
"first_k_dense_replace": 1

按这些数字手算一遍单层激活量:每个专家三个矩阵(gate/up/down)合计 3 × 2048 × 768 ≈ 4.72M 参数,激活 8 个约 37.7M,48 层即约 1.81B;共享专家再贡献约 0.23B;注意力部分 q_proj 为 2048×4096、o_proj 为 4096×2048,加上 k/v 各 2048×512,单层约 18.9M,48 层约 0.91B;再加上 120832 词表的 embedding 与 lm_head(各约 0.25B)以及第一层替换的 dense MLP,激活总量正好落在 3B 出头。而全部 128 个专家铺开,总量约 29B。A3B 不是估算,是这套超参的算术结果。

选择 MoE 对同传场景有直接影响。流式翻译的瓶颈通常不在算力总量,而在单次前向的延迟——每来一小段音频就要解码一次,解码次数多、单次窗口短,此时"激活参数少"比"总参数多"更重要。30B 的容量给了模型足够的语言知识储备,3B 的激活量则让每次增量解码的成本可控。这也是为什么它是 30B-A3B,而不是一个稠密 7B:稠密模型要提升容量只能整体变慢,MoE 可以把容量和单步开销解耦。

路由侧还有几个值得注意的细节:moe_router_use_sigmoid: true、moe_router_enable_expert_bias: true、route_norm: true、router_scaling_factor: 2.826。sigmoid 路由配合可学习的 expert bias,是近两年 MoE 训练里用来缓解专家负载不均衡的常见组合;first_k_dense_replace: 1 则让第 0 层保持稠密,避免最底层表示过早被路由离散化。

音频塔:把 30 秒切成可增量处理的小块

语音能力的入口在 audio_config。这是一个 24 层、d_model 1024、16 头注意力的语音编码器,通过 speech_adapter 投影到 LLM 的 2048 维空间,采样率 16kHz、128 维 mel:

"audio_config": {
  "num_mel_bins": 128,
  "encoder_layers": 24,
  "d_model": 1024,
  "output_dim": 2048,
  "sample_rate": 16000,
  "hop_length": 160,
  "max_samples": 480000,
  "n_window": 50,
  "n_window_infer": 800,
  "conv_chunksize": 500
}

max_samples: 480000 在 16kHz 下正好是 30 秒,与 preprocessor_config.json 中 n_samples: 480000、chunk_length: 30 一致。但真正暴露流式设计意图的是 n_window: 50 与 n_window_infer: 800 这组参数——训练与推理使用不同的窗口长度,推理窗口约为训练的 16 倍,配合 conv_chunksize: 500 的分块卷积,说明音频塔并非"整段编码后一次性喂给 LLM",而是按块推进、维护滚动上下文。

权重索引也印证了它是"LLM + 独立音频塔"的组合:model.safetensors.index.json 中共有 37268 个张量,被切成 17 个语言模型分片加一个独立的 model-audio-tower.safetensors,音频塔单独占 403 个张量(含 speech_encoder 的卷积前端、24 层 transformer、speech_adapter 三层投影)。这种拆分方式对部署很友好——音频塔与主模型可以分开加载、分开量化。

一个翻译模型,为什么带着完整的工具调用模板

仓库里最容易被忽略、但信息量最大的文件是 chat_template.jinja。它开头就是一大段 tool_calls / tool_response / arg_key / arg_value 的模板逻辑,还带有 <think> 与 reasoning_effort 开关;而在处理多模态消息的分支里,音频被替换为三个连续的占位 token:

{%- elif part['type'] == 'audio' -%}
{{- '<|hy_place▁holder▁no▁6|><|hy_place▁holder▁no▁5|><|hy_place▁holder▁no▁8|>' -}}

这三个 token 对应 config.json 中的 audio_token_id: 120023、eod_token_id: 120026 等特殊符号,sep_token_id: 120007 就是 <|hy_Assistant|>,turn_end_token_id: 120008 就是 <|hy_EOT|>。换句话说,这套 tokenizer 与对话模板并非为翻译任务专门裁剪,而是从混元 Hy3 系列语言模型继承下来的——model_type 字段写的正是 hy_v3,architectures 是 HYV3SpeechForCausalLM。

这解释了两件事。第一,30B-A3B 的底座是一个通用 MoE 语言模型,翻译能力来自后训练而非架构定制,这也意味着理论上它仍保留着通用指令能力(尽管官方只把它作为翻译模型发布)。第二,max_position_embeddings: 262144 这样的超长上下文配置对同传是有实际意义的——长会议需要模型在很长的时间跨度里记住前文术语与人名,而不是每 30 秒重置一次记忆。

解码配置里的两个数字

generation_config.json 只有四行:

{
  "bos_token_id": 120000,
  "eos_token_id": [120025, 120008],
  "temperature": 0.0,
  "max_new_tokens": 64
}

temperature: 0.0 意味着贪心解码,同传场景几乎没有采样空间——任何随机性都会让"先开口后修补"的修正变得不可预测,同一段音频两次跑出不同译文,在产品上是不可接受的。max_new_tokens: 64 则更像是为分块解码设的上界:每次增量只允许吐出很短的一段,控制单步延迟,把长句拆成多个可被后续上下文修正的片段。这与 SGLang-Omni 路径中"每 1.6 秒刷新一次译文假设、最终假设会重译整段并可能改写此前的部分译文"的行为是自洽的。

低温度、短输出、可修正——三个设定指向同一个工程目标:让延迟可预测。

开源策略:六个变体,三条推理路径,一条明确的边界

这次开源的取舍,比模型本身更值得研究。

权重怎么放:一个能力,六个文件

README_CN.md 的模型链接表列了六个 checkpoint,它是两个维度(输出形态 × 量化格式)的完整笛卡尔积:

维度 取值 影响
输出形态 Hy-SimulMT-30B-A3B(仅译文) / -Interleave(原文 + 译文) 是否需要展示源文、是否要做双语字幕
量化格式 BF16 / FP8 / GGUF 显存、部署栈、推理速度

这个矩阵的设计意图很务实。"仅译文"面向终端听众,模型只输出目标语言,token 预算全部花在译文上;"Interleave"面向需要对照的场景,比如字幕审校或同传辅助,输出里同时带源文与译文,代价是解码长度增加、延迟略升。而 FP8 与 GGUF 则是把"能不能跑得动"这件事交给使用者自己决定。

当前仓库就是这个矩阵中的一格:FP8 版。量化配置写得很克制:

"quantization_config": {
  "quant_method": "fp8",
  "activation_scheme": "dynamic",
  "fmt": "e4m3",
  "weight_block_size": [128, 128]
}

e4m3 配 dynamic 激活缩放,加上 128×128 的块级权重缩放,是当前 vLLM 系 FP8 推理的主流做法。更值得注意的是 ignored_layers:lm_head、所有层的 mlp.gate(路由门)、以及全部 48 层的注意力投影(q/k/v/o 与 qkv_proj)都被排除在量化之外。这个选择很懂行——MoE 路由对数值扰动极其敏感,gate 一旦量化偏差就会导致专家选择漂移,进而让不同请求走上完全不同的专家组合,输出稳定性崩掉;注意力投影保持高精度则保护了长上下文的位置与外推行为。也就是说,FP8 只用在它最安全的地方:专家 MLP。索引文件里的 weight_scale_inv 张量(每个专家矩阵一个)正是块级量化的缩放因子。

代价体现在体积上:metadata.total_size 为 32,145,305,344 字节,约 32.1 GB。相比 BF16 版本 README 中提到的"约 57 GiB",FP8 把显存需求砍掉近一半,让单张 H100/H200 级别显卡可以留出足够的 KV cache 空间跑并发会话,而不是刚好卡在权重加载边缘。

三条推理路径,成熟度并不相同

开源一个语音模型最难的部分从来不是权重,而是"别人能不能跑起来"。这次官方同时给了三条路,但从 README 的措辞能读出它们的成熟度差异。

vLLM 路径(主推)。通过 simulst 包与支持 HYV3ForCausalLM 的 vLLM ≥0.31,SimulInfer 提供网页、文件上传、实时 WebSocket 与可选 TTS 音色克隆。一键部署命令是:

cd SimulInfer
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave

命令行侧则是直接的 HTTP 流式接口:

curl -N http://127.0.0.1:8080/translate/stream \
  -F direction=en-zh -F file=@audio.wav

默认 web/API 端口 8080、模型端口 8800,配置与日志落在 SimulInfer/.simulinfer/。这条路径是唯一覆盖全部六个变体、并且自带 VAD 与断句恢复策略的完整实现。

SGLang-Omni 路径(实验性,覆盖范围窄)。README 明确写了它"covers this checkpoint (Hy-SimulMT-30B-A3B, BF16, translation-only output)",并特别声明"FP8、GGUF 与 Interleave checkpoint 不在该集成覆盖范围内"。也就是说,你现在下载的这个 FP8 仓库,恰恰是 SGLang-Omni 不支持的那一格。它的 BF16 权重需要约 57 GiB,单张 H200 可容纳;请求限制也更严格——每个请求最多 30 秒音频,超长音频会被直接拒绝而不是截断;language 参数必须显式传 zh 或 en,因为该 checkpoint 不提供语言检测 token,缺省按中译英处理。实时链路走 /v1/realtime?intent=transcription,要求 16kHz 单声道 PCM16。

llama.cpp 路径(尚未落地)。官方为 GGUF 提交了 PR #31198,但 README 自己写得很清楚:"This support has not yet been merged into the official llama.cpp repository",当前仅支持通过 llama-mtmd-cli 推理,llama-server 支持是后续计划。所以走这条路的人,实际上是在用一个未合并的分支,并且只能命令行验证,不能起服务。

三条路径的对比,其实勾勒出了这次开源的边界感:核心能力全量放开,工程完备度分层给出。权重、训练工具(SimulTrain)、推理服务(SimulInfer)都给到了可以复现的程度,但跨推理框架的支持按投入产出排序,先把 vLLM 这条主干打通。

权重之外,两处明确的"不提供"

第一处是语音输出与音色克隆依赖外部 TTS。README 反复强调"Speech output and voice cloning require a configured TTS service",SimulInfer 的配置里也单独留了 TTS 连接项。这意味着 30B-A3B 本体输出的是译文 token,音色克隆是在 TTS 环节完成的——它是一个"翻译模型 + TTS 服务"的组合方案,而不是端到端的一体化模型。这一点对评估部署成本很关键:你需要为 TTS 单独预留资源。

第二处是语言范围。模型卡的 front-matter 列出了 36 个语言标签(zh、en、fr、pt、es、ja、tr、ru、ar、ko、th、it、de、vi、ms、id、tl、hi、pl、cs、nl、km、my、fa、gu、ur、te、mr、he、bn、ta、uk、bo、kk、mn、ug),这是从 HY-MT 系列继承下来的词表与标签体系;但 README 对能力的表述始终是"bidirectional speech-to-speech translation between Chinese and English"。标签是血统,能力是承诺——这一点在使用前必须分清,不要因为看到 36 个语言标签就以为这是一个 36 语种的同传模型。

效果:两个坐标系

README 给出了两组互补的证据。第一组是 RealSI 长音频基准上的质量—延迟散点:横轴 StreamLAAL(流式翻译滞后,越低越好),纵轴 GEMBA 翻译质量分(越高越好)。

RealSI 长音频评测:Hy-SimulMT 与开源同传模型、商业 API 的 GEMBA 与 StreamLAAL 对比

在这个坐标系里,Hy-SimulMT 的 StreamLAAL 约为 3 秒,是图中参评系统的最低值;GEMBA 分数高于所对比的开源模型,并超过五个商业 API 中的四个。README 还特意加了一句提醒:StreamLAAL 不等于首次出声延迟——它衡量的是整段流式翻译相对源语的累计滞后,这正是"先开口后修补"策略容易在指标上获益、但在主观听感上未必等价的地方,读图时需要留意。

第二组是短音频基准上的绝对质量,四个公开测试集的结果如下(节选自 README 表格):

系统 FLEURS CoVoST2 ACL6060 RealSI-Sentence
Qwen3.8-LiveTranslate 88.4 82.1 80.5 84.4
Hy-SimulMT 90.3 75.5 81.2 84.7
Gemini3.5-LiveTranslate 92.4 74.4 82.6 82.2
Confucius4 R2T2 → T3PO 89.4 76.8 76.1 77.7
Seed-LiveInterpret2.0 85.8 67.7 74.8 80.0
GPT-Realtime-Translate 77.7 50.8 76.4 76.7
SeamlessStreaming 72.8 60.9 49.8 56.9

值得诚实地读这张表:Hy-SimulMT 在 FLEURS、ACL6060、RealSI-Sentence 三个集上领先,但 CoVoST2 的 75.5 明显低于 Qwen3.8-LiveTranslate 的 82.1,也不如 Confucius4 的 76.8。CoVoST2 是众包朗读语音,语速与韵律和真实演讲差异较大,这个短板说明模型对某些语音分布仍有偏置。相比之下,RealSI-Sentence 的 84.7 是全表最高,而 RealSI 正是真实场景音频——模型在"像真人在说话"的数据上表现更好,在"像在念稿"的数据上相对弱,这与它面向会议、演讲、访谈的定位是一致的。

第三组证据来自人机对照。团队收集了 2026 年 9 月之后出现在网上的 18 段中英文音频,每段约 6 分钟,覆盖软件与 AI、医学、制造与能源、自然科学、农业与食品、商务管理、法律、教育、文化文旅、体育生活十个领域,并邀请 6 位有多年同传实战经验的译员(3 位持 CATTI 一级、3 位持 CATTI 二级)同场翻译,每个等级取三人中的最高分。

Hy-SimulMT 与 CATTI 一级、二级口译专家的 StreamLAAL 时延对比

结论被表述得很克制:在这次小范围测评中,翻译质量达到人类同传专家水平,而速度往往更快。同时 README 明确限定"仅适用于本次样本、参测译员及评测设置,不代表对播报音质、音色相似度等维度的综合评价"。这种自我限定是必要的——18 段、6 位译员、单次评测,不足以支撑"超越人类"的强结论,但足以支撑"延迟不再是不可逾越的鸿沟"这个弱结论。

选型:在这条产品线上该拿哪一个

如果把三代模型放进同一张决策表,选择逻辑其实相当机械。

先问输入是什么。 如果手上已经是文本——文档、字幕文件、网页、客服消息——那么 Hy-SimulMT 是错误答案:它吃音频,且只做中英。此时 1.8B 与 7B 才是对的工具,前者负责高并发与边缘部署,后者负责术语密集、需要上下文连贯的专业文本。社区里那些把 1.8B 塞进会议字幕流水线的方案,本质上仍是"ASR → MT → 字幕"的三段式,其延迟下限由三段串行决定。

再问延迟预算。 如果需要的是"说话人还没说完,译文已经开始滚动",那么只有 Hy-SimulMT 这一档可选。它的 StreamLAAL 约 3 秒,意味着译者与听众之间的信息差被压到了接近人类同传的量级。反之,如果场景允许整句结束后再翻译(例如录播视频字幕、文档本地化),用 30B 换 3 秒延迟是纯粹的浪费。

然后问部署形态。 这是 30B-A3B 内部再分叉的地方:

你的条件 推荐变体 推理路径 需要预留
单卡 H100/H200,要完整功能(VAD、断句恢复、TTS 联动) Hy-SimulMT-30B-A3B-FP8(本仓库)或 -Interleave-FP8 SimulInfer + vLLM ≥0.31 约 32 GB 权重 + KV cache + 独立 TTS
已有一套 SGLang-Omni 服务,只要译文文本 Hy-SimulMT-30B-A3B(BF16) SGLang-Omni 约 57 GiB,单张 H200 可容纳
显存紧张、想走 CPU/混合推理 -GGUF llama.cpp(需 PR #31198 分支) 只能 llama-mtmd-cli,服务端支持未就绪
需要双语字幕、源文对照审校 -Interleave 系列 同对应量化格式 解码更长,延迟略高

最后问是否需要音色。 这一步经常被跳过,但它决定了整体架构。Hy-SimulMT 的语音输出依赖外部 TTS,音色克隆也发生在 TTS 侧。如果你的场景是"跨国会议里让听众听到主讲人本人的声音说中文",那么部署清单里必须包含一个支持声音克隆的 TTS 服务,并且它的首包延迟要计入端到端时延——30B 模型省下来的那几秒,很可能被一个慢 TTS 吃掉。

几个容易踩的坑

语言参数不能省。 走 SGLang-Omni 时,该 checkpoint 没有语言检测 token,language 必须显式传 zh 或 en,缺省会按中译英处理。中译英的音频如果不传 language=zh,结果会完全错位。

长音频不是自动切分的。 SGLang-Omni 的 /v1/audio/translations 每个请求最多 30 秒,超出直接拒绝而非截断;真正的长音频流式要走 /v1/realtime,并且该路径不复现 SimulInfer 的 VAD 与恢复启发式。想要"完整产品行为",只能走 SimulInfer。

端口容易冲突。 SimulInfer 的 web/API 默认 8080、模型 8800;llama.cpp 桥接脚本的网页端口是 8094,但连接的模型端口仍是 8080;SGLang-Omni 用的是 8000。三套默认值互不相同,混用时务必显式指定。

"先开口后修补"意味着译文会变。 流式输出过程中,前面的译文片段可能被后续上下文改写。任何把中间结果直接落库、直接烧进字幕文件的实现,都必须设计"最终态覆盖"的逻辑,否则会出现同一句话在库里出现两个版本。

许可证是 Apache-2.0。 LICENSE.txt 与模型卡 front-matter 一致,商用没有额外限制——但要自行承担 TTS 组件与训练数据的合规审查。

产品线显形之后

把三代模型放在一起看,混元翻译线的意图已经不再含糊:它不是在做"一个越来越大的翻译模型",而是在按输入形态切分市场。文本翻译交给 1.8B 和 7B,用参数规模换成本与质量的不同档位;实时语音交给 30B-A3B,用 MoE 把"容量"和"单步延迟"解耦,用 FP8 把 32 GB 的权重压进单卡,用六个 checkpoint 变体把"要不要源文、跑不跑得动"的选择权交给使用者。

这次开源最有价值的部分,未必是那 3 秒的 StreamLAAL,而是它把一整套工程约束摊开在了仓库里:generation_config.json 里 temperature: 0.0 和 max_new_tokens: 64 暴露了分块解码的边界,quantization_config.ignored_layers 暴露了 MoE 量化的雷区,audio_config 里 n_window 与 n_window_infer 的 16 倍差距暴露了训练与推理的窗口差异,README 里对 llama.cpp "尚未合并"、对 SGLang-Omni "不支持 FP8" 的坦白,则暴露了多框架支持的真实成熟度。这些细节拼起来,比任何 benchmark 曲线都更能说明一个模型能用在什么地方、不能用在什么地方。

产品线显形的另一面是选型成本的下降。当 1.8B、7B、30B-A3B 各自对应清晰的输入形态与部署条件时,"该用哪个"就不再需要靠试错回答。剩下的问题只有一个:你的场景,究竟是在翻译文本,还是在跟上一个正在说话的人。

登录后查看全文
Hy-SimulMT-30B-A3B-FP8