实时语音识别SOTA横评:Confucius4-R2T2延迟与准确率如何对比WhisperRT和X-ASR?
实时语音识别SOTA横评:Confucius4-R2T2延迟与准确率如何对比WhisperRT和X-ASR?
Confucius4-R2T2 是一款低延迟、高准确率的**实时语音识别(ASR)**模型,由网易有道开源,支持 80 毫秒到 2 秒的流式解码分块。本文用同一套测试基准,把它与开源的 WhisperRT、X-ASR 等主流模型做一场 SOTA 横评,重点看两个大家最关心的指标:延迟有多低、准确率有多高。
先搞清楚:实时语音识别到底比什么?
很多人以为语音识别只看"认得准不准",其实实时场景下有两个硬指标:
- ⚡ 延迟(Latency):从说话到文字显示出来的时间。实时字幕、同声传译、语音助手都要求延迟在几百毫秒级。
- 🎯 准确率(WER/CER):英文常用 WER(词错率),中文常用 CER(字错率),数值越低越好。
传统方案往往要二选一:延迟低就认错多,准确率够高就得等。Confucius4-R2T2 的卖点恰恰是"两个都要"。
Confucius4-R2T2 是什么?
R2T2 全称 Real Real-Time Transcription(真正实时转写),构建于 Qwen3-ASR 之上,采用"最长稳定前缀(LSP)"学习范式:模型动态判断何时可以安全地输出文本,何时还需多听一点音频。
它最核心的特性是真流式输出:
- ✅ 文本只追加、不回改——已输出的字永久稳定,不会像伪流式模型那样"写错了再涂改",界面不会闪烁
- ✅ 可配置分块——解码步长支持 80 ms ~ 2 s,延迟与准确率可自行权衡
- ✅ 离线准确率无损——加了流式能力后,离线识别精度不降
- ✅ 原生支持上下文和热词提示,可提升专有名词的识别效果
- ✅ 针对中文和英文优化,同时支持法语、日语、韩语等大量其他语言
延迟横评:200~600 ms 平均延迟意味着什么?
官方给出的核心数据:Confucius4-R2T2 在保持接近离线识别准确率的前提下,平均延迟仅 200 至 600 毫秒。
对比几个典型配置(分块越小延迟越低,准确率略有下降):
| 模型 | 流式分块 | 输出模式 |
|---|---|---|
| Confucius4-R2T2 | 80 ms ~ 2 s 可配(常用 160 ms) | 真流式,只追加 |
| X-ASR | 160 ms | 真流式,只追加 |
| WhisperRT | 200 ms | 伪流式,可能回改前文 |
WhisperRT 的 200 ms 分块和 R2T2 的 160 ms 分块同属"低延迟档",但注意它带 ※ 标记——属于伪流式,部分识别结果可能修改此前已输出的文本。对需要"边识别边处理文字"的场景(下游 NLP 流水线、LLM Agent、实时字幕上屏),这一点很关键。
准确率横评:英文 WER 与中文 CER 实测对比
以下是官方评测中三个模型在相同 160~200 ms 流式分块下的结果(% ,越低越好):
英文(WER)
| 数据集 | R2T2 (160ms) | X-ASR (160ms) | WhisperRT (200ms) |
|---|---|---|---|
| AMI | 11.37 | 14.41 | 24.19 |
| Giga-clean | 9.60 | 10.26 | 13.81 |
| LS-clean | 2.13 | 3.86 | 4.70 |
| LS-other | 4.88 | 9.64 | 9.86 |
| SPGI | 3.00 | 5.14 | 8.66 |
| VoxPopuli | 3.07 | 5.68 | 8.28 |
| Earnings22 | 9.36 | 15.95 | 35.08 |
| TED-LIUM | 3.34 | 3.75 | 6.67 |
| EN-RealSI | 8.40 | 8.97 | 35.36 |
中文(CER)
| 数据集 | R2T2 (160ms) | X-ASR (160ms) | WhisperRT |
|---|---|---|---|
| Wenet-net | 5.87 | 8.81 | 未测 |
| Wenet-meeting | 7.27 | 11.33 | 未测 |
| SPEECHIO-06 | 7.30 | 7.86 | 未测 |
| SPEECHIO-07 | 8.20 | 11.22 | 未测 |
| CN-RealSI | 3.48 | 4.92 | 未测 |
结论很直接:在 13 个中英数据集上,R2T2 全部取得三个模型中的最佳成绩,且在会议(AMI)、财报(Earnings22)、真实噪声(EN-RealSI)等困难场景上优势尤为明显。官方结论是:R2T2 在开源模型中同时拿下延迟与识别质量的 SOTA,并与领先闭源系统(Commercial A/B)保持竞争力。
快速上手:从克隆到跑通只需几步
🚀 如果你也想验证这些数据,安装并不复杂:
git clone https://gitcode.com/gh_mirrors/co/Confucius4-R2T2
cd Confucius4-R2T2
推荐用 Docker 起步(官方 Qwen3-ASR 镜像已预装全部运行时),也可用 Conda / uv 创建 Python 3.12 环境后 pip install -e .。完整步骤见 README.zh.md。
跑通第一个音频只需一条命令:
./run_example.sh /path/to/audio.wav \
--model_path /path/to/Confucius4-R2T2 \
--infer_mode stream_vllm \
--language Chinese \
--chunk_size_ms 160
run_example.sh 支持的环境变量(CHUNK_SIZE_MS、CONTEXT、LANGUAGE 等)在 README.md 中有完整说明;核心推理逻辑在 r2t2/r2t2_asr.py,完整流式示例可参考 example.py。
三种部署方式怎么选?
| 场景 | 推荐方式 | 说明 |
|---|---|---|
| GPU 服务器、高吞吐 | vLLM 后端 | 默认方案,支持离线与流式 |
| CPU / 轻量部署 | llama.cpp 后端 | 支持 GGUF 量化,详见 r2t2_llama/README.md |
| 多客户端实时服务 | WebSocket 服务 | 仓库自带 ws_server.py 与参考客户端 ws_client.py,用 run_start_server.sh 一键启动 |
一句话总结
如果你在选型实时语音识别模型:Confucius4-R2T2 是目前开源阵营里"低延迟 + 高准确率"平衡得最好的选择之一——160 ms 分块下平均延迟 200~600 ms,中英准确率全面领先 WhisperRT 与 X-ASR,且真流式输出保证文本永不回改,对字幕、听写、同传和 LLM 智能体这类"边说边用"的场景非常友好。代码基于 Apache 2.0 发布(见 LICENSE),模型权重使用需遵守 MODEL_LICENSE_zh。
