深度拆解Confucius4-R2T2:音频编码器+Qwen3如何实现31种语言低延迟流式语音识别
深度拆解Confucius4-R2T2:音频编码器+Qwen3如何实现31种语言低延迟流式语音识别
Confucius4-R2T2(网易有道开源)是一款低延迟、高准确率的真流式语音识别(ASR)模型。它基于 Qwen3-ASR-1.7B 构建:由一个 24 层音频编码器将语音波形压缩为语义表示,再交给 28 层 Qwen3 大语言模型逐词生成文本,支持 80ms~2s 可配置解码块、31 种语言,识别精度逼近离线模型,平均延迟仅 200~600ms。
一、整体架构:两大核心模块
R2T2 的架构在 config.json 中完整定义(model_type: qwen3_asr),整体分为"听"与"说"两个部分:
1. 音频编码器(听)
- 结构:24 层 Transformer 编码器,隐层宽度 1024,16 个注意力头,前馈网络维度 4096
- 输入:128 维梅尔频谱(Mel filterbank),由 preprocessor_config.json 中的
WhisperFeatureExtractor生成(n_fft=400、hop_length=160,音频统一重采样到 16kHz) - 输出:2048 维语义向量(
output_dim=2048),送入大语言模型
2. Qwen3 文本解码器(说)
- 结构:28 层 Transformer,隐层 2048,16 个注意力头 + 8 个 KV 头(GQA 分组查询注意力),FFN 维度 6144
- 词表:151936 个 token(见 vocab.json 与 merges.txt,BPE 分词)
- 上下文:支持 65536 token 的长上下文(
max_position_embeddings),配合 mrope 交错位置编码 - 精度:推理使用 bfloat16
音频编码器的输出向量与文本 token 共享同一个词表空间,通过特殊 token Johnston<|audio|> 作为占位符,把语音"嵌入"对话上下文中——这就是典型的"音频 LLM"范式。
二、流式识别的核心机制:LSP 学习范式
普通流式 ASR 常见的痛点是"文本反复修改、画面闪烁"。R2T2 采用**最长稳定前缀(LSP, Longest Stable Prefix)**学习范式解决它:
| 机制 | 说明 |
|---|---|
| 追加式输出(append-only) | 已输出的文字永久提交、不再修改,适合实时字幕、下游 NLP 管道 |
| 稳定前缀判定 | 模型动态判断"当前哪些字已经稳定、哪些还需要更多音频上下文" |
| 可配置解码块 | 支持 80ms~2s 的 chunk 粒度,在延迟与精度间自由权衡 |
| 滚动回退窗口 | unfixed_token_num(默认 1)允许末尾 1~2 个 token 短暂回退,兼顾流畅与准确 |
训练上配合三类特殊数据:稳定前缀数据、强制时间对齐数据、token 级音频切分,让模型学会"何时可以安全吐出文字"。这也是它在保持流式输出的同时,离线精度不损失的关键。
三、31种语言支持一览
模型的语言清单定义在 config.json 的 support_languages 字段中,共 31 种语言:
🌏 重点优化:中文、英文(含粤语 Cantonese) 🌍 其他支持:法、德、意、日、韩、葡、俄、西、阿拉伯语、印尼语、泰语、越南语、土耳其语、印地语、马来语、荷兰语、瑞典语、丹麦语、芬兰语、波兰语、捷克语、菲律宾语、波斯语、希腊语、罗马尼亚语、匈牙利语、马其顿语
四、关键文件速览
| 文件 | 作用 |
|---|---|
| config.json | 模型主配置:编码器/解码器结构、31 种语言列表 |
| preprocessor_config.json | 音频特征提取:128 维 Mel 频谱、16kHz 采样 |
| tokenizer_config.json / special_tokens_map.json | 音频起止 token(` Johnston< |
| added_tokens.json | 新增 token:25 个 <blankN> 对齐占位符、<non_speech> 非语音标记 |
| chat_template.json | 对话模板:自动把音频拼接为 `< |
| generation_config.json | 贪心解码(do_sample=false),保证输出确定性 |
| vocab.json / merges.txt | 15 万级 BPE 词表与合并规则 |
| README.md | 完整文档:安装、快速上手、Python API、WebSocket 服务 |
五、效果如何?数据说话
在 160ms 解码块下,R2T2 的流式表现:
- 英文(WER%,越低越好):Giga-clean 9.60、LS-clean 2.13、SPGI 3.00,多项指标超越 WhisperRT、Nemotron、Voxtral 等开源流式方案
- 中文(CER%):Wenet-meeting 7.27、CN-RealSI 3.48,逼近离线 Qwen3-ASR 水平
- 延迟:平均仅 200~600ms,且开源模型中处于 SOTA 水平
推理侧提供 vLLM 高吞吐后端(也兼容 HuggingFace transformers),支持离线整段转写与流式两种模式;README 中还提供 WebSocket 服务端,可直接对接麦克风流做多客户端实时字幕。
六、快速上手
git clone https://gitcode.com/hf_mirrors/netease-youdao/Confucius4-R2T2
./run_example.sh /path/to/audio.wav \
--model_path /path/to/Confucius4-R2T2 \
--infer_mode stream_vllm \
--language Chinese \
--chunk_size_ms 160
只需一个音频文件(任意采样率、单/立体声均可),一条命令即可体验真流式识别效果。
小结
Confucius4-R2T2 用"音频编码器 + Qwen3 大模型"的组合,把稳定前缀学习带入了流式 ASR:文字说出口就不改口,延迟压到几百毫秒,31 种语言通吃。对于实时字幕、语音助手、同声传译等对"即时性 + 不可修改性"有严格要求的场景,它是目前开源阵营中非常值得关注的选择。