FireRedASR2S全面解析:4大SOTA模块、24个公开基准,超越Doubao-ASR与Qwen3-ASR的一站式语音识别系统

原创2026-10-31 17:19:451,412 阅读

FireRedASR2S全面解析:4大SOTA模块、24个公开基准,超越Doubao-ASR与Qwen3-ASR的一站式语音识别系统

FireRedASR2S 是一款开源的工业级一站式语音识别(ASR)系统,集语音识别、语音端点检测(VAD)、语言识别(LID)与标点恢复(Punc)四大 SOTA 模块于一身。它在 24 个公开中文测试集上的平均字错率为 9.67%,在普通话基准上仅 2.89% CER,全面超越 Doubao-ASR(3.69%)与 Qwen3-ASR-1.7B(3.76%),支持普通话、20+ 种中国方言/口音、英语、中英混说,甚至还能识别歌曲演唱。

什么是 FireRedASR2S?一条完整的语音识别流水线

2S 的含义是 "2nd-generation FireRedASR,expanded to an all-in-one ASR System"——第二代 FireRedASR,扩展为一个完整的一体化语音识别系统。

它的处理流程非常直观:一段音频依次经过 VAD(切出语音段)→ LID(判断语种)→ ASR(转写文字)→ Punc(加回标点),最终输出带时间戳、语种、置信度的结构化结果:

FireRedASR2S一站式语音识别系统流水线:VAD、LID、ASR、Punc四模块串联

四大模块均为独立自包含包,既可组合成完整系统,也可单独使用:

模块 能力 亮点指标 源码目录
🔊 FireRedASR2 语音/演唱识别;普通话、20+ 方言口音、英语、中英混说 普通话 4 个公开基准平均 CER 2.89% fireredasr2s/fireredasr2/
🎙️ FireRedVAD 语音端点检测,支持 100+ 语言的语音/歌唱/音乐 F1 97.57%,超 Silero-VAD 等 fireredasr2s/fireredvad/
🌍 FireRedLID 语言识别,100+ 语言、20+ 中文方言口音 准确率 97.18%,超 Whisper fireredasr2s/fireredlid/
✏️ FireRedPunc 中英文标点预测 平均 F1 78.90%,超 FunASR-Punc(62.77%) fireredasr2s/fireredpunc/

核心能力:4大SOTA模块逐个看

1️⃣ FireRedASR2 语音识别:两种架构自由切换

FireRedASR2 提供两个变体,覆盖"精度优先"和"效率优先"两类需求:

  • FireRedASR2-LLM:Encoder-Adapter-LLM 架构,借助大语言模型能力追求 SOTA 精度,适合端到端语音交互场景;
  • FireRedASR2-AED:基于注意力机制的 Encoder-Decoder 架构,性能与算力开销更均衡,且支持词级时间戳与置信度输出,可加速接入 TensorRT-LLM(实测比 PyTorch 快 12.7 倍),也已被 vLLM 支持。

FireRedASR2双架构语音识别模型示意图:左侧AED编码器解码器,右侧Conformer编码器连接大语言模型

它支持的中文方言/口音包括:粤语(港/粤)、四川、上海、吴语、闽南、安徽、福建、甘肃、贵州、河北、河南、湖北、湖南、江西、辽宁、宁夏、陕西、山西、山东、天津、云南等 20+ 种。

2️⃣ FireRedVAD 语音端点检测:100+ 语言通用

基于 DFSMN 架构,支持非流式/流式 VAD 与多标签 VAD(mVAD)。mVAD 可视为一个轻量级音频事件检测系统,能同时区分语音、歌唱、音乐三类声音事件——这在音乐、播客等多媒体场景非常实用。在覆盖 102 种语言的 FLEURS-VAD-102 基准上,F1 达 97.57%,超过 Silero-VAD、TEN-VAD、FunASR-VAD 与 WebRTC-VAD。

3️⃣ FireRedLID 语言识别:比 Whisper 更懂"小语种"

基于 Encoder-Decoder 的语言识别模型:在 82 种语言的 FLEURS 测试集上准确率 97.18%(Whisper 仅 79.41%),在 20+ 种中文方言/口音上也有 88.47% 的准确率。完整语种对照表见 fireredasr2s/fireredlid/README.md。

4️⃣ FireRedPunc 标点恢复:让转写文本"可读"

基于 BERT 的标点预测模型,支持中英文多领域文本,中英文平均 F1 达 78.90%,大幅领先 FunASR-Punc(62.77%)。它把 ASR 输出的"裸文本"变成带句号、逗号、问号的规范句子。

基准对比:在24个公开测试集上如何碾压对手

FireRedASR2 在 24 个公开测试集(4 个普通话 + 19 个方言/口音 + 1 个演唱)上进行了系统评测,CER/WER 越低越好:

测试集范围 FRASR2-LLM FRASR2-AED Doubao-ASR Qwen3-ASR Fun-ASR
总计(24 个测试集) 9.67% 9.80% 12.98% 10.12% 10.92%
普通话(4 个测试集) 2.89% 3.05% 3.69% 3.76% 4.16%
方言/口音(19 个测试集) 11.55% 11.67% 15.39% 11.85% 12.76%

几个值得注意的亮点:

  • 🏆 普通话基准:比 Doubao-ASR 低 0.80 个百分点,比 Qwen3-ASR-1.7B 低 0.87 个百分点;
  • 🗣️ 方言场景优势更明显:在方言/口音测试集上比 Doubao-ASR 低 3.84 个百分点;
  • 🎵 演唱识别(opencpop 测试集)CER 仅 1.12%,远优于其他模型(4.36% / 2.57%)。

快速上手:三步安装与运行指南

第 1 步:获取代码并安装依赖

git clone https://gitcode.com/gh_mirrors/fi/FireRedASR2S
cd FireRedASR2S
pip install -r requirements.txt
export PATH=$PWD/fireredasr2s/:$PATH
export PYTHONPATH=$PWD/:$PYTHONPATH

第 2 步:下载预训练模型(中国大陆用户推荐 ModelScope)

pip install -U modelscope
modelscope download --model xukaituo/FireRedASR2-AED --local_dir ./pretrained_models/FireRedASR2-AED
modelscope download --model xukaituo/FireRedVAD --local_dir ./pretrained_models/FireRedVAD
modelscope download --model xukaituo/FireRedLID --local_dir ./pretrained_models/FireRedLID
modelscope download --model xukaituo/FireRedPunc --local_dir ./pretrained_models/FireRedPunc

第 3 步:一键推理整个系统

cd examples_infer/asr_system
bash inference_asr_system.sh

如果只想单独跑某个模块,examples_infer/ 下也提供了 ASR、VAD、LID、Punc 各自的独立推理脚本,例如 examples_infer/asr/inference_asr_aed.sh、examples_infer/lid/inference_lid.sh。

也可以用命令行工具 fireredasr2s-cli 直接转写音频,其参数定义见 fireredasr2s/fireredasr2s_cli.py:

fireredasr2s-cli --wav_paths "assets/hello_zh.wav" "assets/hello_en.wav" --outdir output

输出为 JSONL 格式,包含文本、分句、词级时间戳、语种、ASR 与 LID 置信度等字段,例如:{"uttid": "hello_zh", "text": "你好世界。", "sentences": <a href="https://link.gitcode.com/i/cbf73391769c7c70268075b6c1a36486" target="_blank">{"start_ms": 310, "end_ms": 1840, "lang": "zh mandarin", ...}]}。开发者也可直接调用 Python API:from fireredasr2s import FireRedAsr2System,核心逻辑位于 [fireredasr2s/fireredasr2system.py。

选型建议与常见问题

🔍 LLM 版 vs AED 版怎么选?

需求场景 推荐变体 理由
追求极致精度、端到端语音交互 FireRedASR2-LLM LLM 架构,普通话 CER 更低
需要词级时间戳/字幕/置信度 FireRedASR2-AED 支持时间戳输出,RTF 更低
大规模生产部署 AED + TensorRT-LLM 加速 实测 12.7 倍加速
在线高并发服务 LLM + vLLM 已获 vLLM 官方支持

❓ FAQ

Q:支持什么音频格式? 16kHz、16-bit、单声道 PCM wav。其他格式可用 ffmpeg 转换: ffmpeg -i 输入.wav -ar 16000 -ac 1 -acodec pcm_s16le -f wav 输出.wav

Q:单条音频有多长限制? FireRedASR2-AED 建议不超过 60 秒(超过 200 秒会报位置编码错误);FireRedASR2-LLM 建议不超过 40 秒。长音频由 FireRedVAD 自动切分后逐段转写,无需手动处理。

Q:系统支持什么平台? 目前代码仅在 Linux Ubuntu 22.04 上验证过,其他发行版或 Windows 未测试。

Q:可以只使用单个模块吗? 可以。fireredasr2、fireredvad、fireredlid、fireredpunc 四个子包彼此独立、自包含,可单独引入(VAD 与 LID 后续还会作为独立库开源)。

总结

FireRedASR2S 是目前开源领域少见的**"开箱即用"全链路语音识别系统**:

  • ✅ 四大模块(ASR / VAD / LID / Punc)全部达到 SOTA,且权重与推理代码完全开源;
  • ✅ 24 个公开测试集综合 CER 9.67%,普通话与方言表现均超越 Doubao-ASR、Qwen3-ASR、Fun-ASR;
  • ✅ 覆盖普通话、20+ 方言口音、英语、中英混说,甚至歌曲演唱识别;
  • ✅ 从脚本一键推理到 Python API、命令行工具、vLLM / TensorRT 加速,部署路径完整。

无论是做会议字幕、方言语音助手,还是多语种内容审核,FireRedASR2S 都值得一试 🚀

登录后查看全文
FireRedASR2S