FireRedASR2S全面解析:4大SOTA模块、24个公开基准,超越Doubao-ASR与Qwen3-ASR的一站式语音识别系统
FireRedASR2S全面解析:4大SOTA模块、24个公开基准,超越Doubao-ASR与Qwen3-ASR的一站式语音识别系统
FireRedASR2S 是一款开源的工业级一站式语音识别(ASR)系统,集语音识别、语音端点检测(VAD)、语言识别(LID)与标点恢复(Punc)四大 SOTA 模块于一身。它在 24 个公开中文测试集上的平均字错率为 9.67%,在普通话基准上仅 2.89% CER,全面超越 Doubao-ASR(3.69%)与 Qwen3-ASR-1.7B(3.76%),支持普通话、20+ 种中国方言/口音、英语、中英混说,甚至还能识别歌曲演唱。
什么是 FireRedASR2S?一条完整的语音识别流水线
2S 的含义是 "2nd-generation FireRedASR,expanded to an all-in-one ASR System"——第二代 FireRedASR,扩展为一个完整的一体化语音识别系统。
它的处理流程非常直观:一段音频依次经过 VAD(切出语音段)→ LID(判断语种)→ ASR(转写文字)→ Punc(加回标点),最终输出带时间戳、语种、置信度的结构化结果:
四大模块均为独立自包含包,既可组合成完整系统,也可单独使用:
| 模块 | 能力 | 亮点指标 | 源码目录 |
|---|---|---|---|
| 🔊 FireRedASR2 | 语音/演唱识别;普通话、20+ 方言口音、英语、中英混说 | 普通话 4 个公开基准平均 CER 2.89% | fireredasr2s/fireredasr2/ |
| 🎙️ FireRedVAD | 语音端点检测,支持 100+ 语言的语音/歌唱/音乐 | F1 97.57%,超 Silero-VAD 等 | fireredasr2s/fireredvad/ |
| 🌍 FireRedLID | 语言识别,100+ 语言、20+ 中文方言口音 | 准确率 97.18%,超 Whisper | fireredasr2s/fireredlid/ |
| ✏️ FireRedPunc | 中英文标点预测 | 平均 F1 78.90%,超 FunASR-Punc(62.77%) | fireredasr2s/fireredpunc/ |
核心能力:4大SOTA模块逐个看
1️⃣ FireRedASR2 语音识别:两种架构自由切换
FireRedASR2 提供两个变体,覆盖"精度优先"和"效率优先"两类需求:
- FireRedASR2-LLM:Encoder-Adapter-LLM 架构,借助大语言模型能力追求 SOTA 精度,适合端到端语音交互场景;
- FireRedASR2-AED:基于注意力机制的 Encoder-Decoder 架构,性能与算力开销更均衡,且支持词级时间戳与置信度输出,可加速接入 TensorRT-LLM(实测比 PyTorch 快 12.7 倍),也已被 vLLM 支持。
它支持的中文方言/口音包括:粤语(港/粤)、四川、上海、吴语、闽南、安徽、福建、甘肃、贵州、河北、河南、湖北、湖南、江西、辽宁、宁夏、陕西、山西、山东、天津、云南等 20+ 种。
2️⃣ FireRedVAD 语音端点检测:100+ 语言通用
基于 DFSMN 架构,支持非流式/流式 VAD 与多标签 VAD(mVAD)。mVAD 可视为一个轻量级音频事件检测系统,能同时区分语音、歌唱、音乐三类声音事件——这在音乐、播客等多媒体场景非常实用。在覆盖 102 种语言的 FLEURS-VAD-102 基准上,F1 达 97.57%,超过 Silero-VAD、TEN-VAD、FunASR-VAD 与 WebRTC-VAD。
3️⃣ FireRedLID 语言识别:比 Whisper 更懂"小语种"
基于 Encoder-Decoder 的语言识别模型:在 82 种语言的 FLEURS 测试集上准确率 97.18%(Whisper 仅 79.41%),在 20+ 种中文方言/口音上也有 88.47% 的准确率。完整语种对照表见 fireredasr2s/fireredlid/README.md。
4️⃣ FireRedPunc 标点恢复:让转写文本"可读"
基于 BERT 的标点预测模型,支持中英文多领域文本,中英文平均 F1 达 78.90%,大幅领先 FunASR-Punc(62.77%)。它把 ASR 输出的"裸文本"变成带句号、逗号、问号的规范句子。
基准对比:在24个公开测试集上如何碾压对手
FireRedASR2 在 24 个公开测试集(4 个普通话 + 19 个方言/口音 + 1 个演唱)上进行了系统评测,CER/WER 越低越好:
| 测试集范围 | FRASR2-LLM | FRASR2-AED | Doubao-ASR | Qwen3-ASR | Fun-ASR |
|---|---|---|---|---|---|
| 总计(24 个测试集) | 9.67% | 9.80% | 12.98% | 10.12% | 10.92% |
| 普通话(4 个测试集) | 2.89% | 3.05% | 3.69% | 3.76% | 4.16% |
| 方言/口音(19 个测试集) | 11.55% | 11.67% | 15.39% | 11.85% | 12.76% |
几个值得注意的亮点:
- 🏆 普通话基准:比 Doubao-ASR 低 0.80 个百分点,比 Qwen3-ASR-1.7B 低 0.87 个百分点;
- 🗣️ 方言场景优势更明显:在方言/口音测试集上比 Doubao-ASR 低 3.84 个百分点;
- 🎵 演唱识别(opencpop 测试集)CER 仅 1.12%,远优于其他模型(4.36% / 2.57%)。
快速上手:三步安装与运行指南
第 1 步:获取代码并安装依赖
git clone https://gitcode.com/gh_mirrors/fi/FireRedASR2S
cd FireRedASR2S
pip install -r requirements.txt
export PATH=$PWD/fireredasr2s/:$PATH
export PYTHONPATH=$PWD/:$PYTHONPATH
第 2 步:下载预训练模型(中国大陆用户推荐 ModelScope)
pip install -U modelscope
modelscope download --model xukaituo/FireRedASR2-AED --local_dir ./pretrained_models/FireRedASR2-AED
modelscope download --model xukaituo/FireRedVAD --local_dir ./pretrained_models/FireRedVAD
modelscope download --model xukaituo/FireRedLID --local_dir ./pretrained_models/FireRedLID
modelscope download --model xukaituo/FireRedPunc --local_dir ./pretrained_models/FireRedPunc
第 3 步:一键推理整个系统
cd examples_infer/asr_system
bash inference_asr_system.sh
如果只想单独跑某个模块,examples_infer/ 下也提供了 ASR、VAD、LID、Punc 各自的独立推理脚本,例如 examples_infer/asr/inference_asr_aed.sh、examples_infer/lid/inference_lid.sh。
也可以用命令行工具 fireredasr2s-cli 直接转写音频,其参数定义见 fireredasr2s/fireredasr2s_cli.py:
fireredasr2s-cli --wav_paths "assets/hello_zh.wav" "assets/hello_en.wav" --outdir output
输出为 JSONL 格式,包含文本、分句、词级时间戳、语种、ASR 与 LID 置信度等字段,例如:{"uttid": "hello_zh", "text": "你好世界。", "sentences": <a href="https://link.gitcode.com/i/cbf73391769c7c70268075b6c1a36486" target="_blank">{"start_ms": 310, "end_ms": 1840, "lang": "zh mandarin", ...}]}。开发者也可直接调用 Python API:from fireredasr2s import FireRedAsr2System,核心逻辑位于 [fireredasr2s/fireredasr2system.py。
选型建议与常见问题
🔍 LLM 版 vs AED 版怎么选?
| 需求场景 | 推荐变体 | 理由 |
|---|---|---|
| 追求极致精度、端到端语音交互 | FireRedASR2-LLM | LLM 架构,普通话 CER 更低 |
| 需要词级时间戳/字幕/置信度 | FireRedASR2-AED | 支持时间戳输出,RTF 更低 |
| 大规模生产部署 | AED + TensorRT-LLM 加速 | 实测 12.7 倍加速 |
| 在线高并发服务 | LLM + vLLM | 已获 vLLM 官方支持 |
❓ FAQ
Q:支持什么音频格式?
16kHz、16-bit、单声道 PCM wav。其他格式可用 ffmpeg 转换:
ffmpeg -i 输入.wav -ar 16000 -ac 1 -acodec pcm_s16le -f wav 输出.wav
Q:单条音频有多长限制? FireRedASR2-AED 建议不超过 60 秒(超过 200 秒会报位置编码错误);FireRedASR2-LLM 建议不超过 40 秒。长音频由 FireRedVAD 自动切分后逐段转写,无需手动处理。
Q:系统支持什么平台? 目前代码仅在 Linux Ubuntu 22.04 上验证过,其他发行版或 Windows 未测试。
Q:可以只使用单个模块吗?
可以。fireredasr2、fireredvad、fireredlid、fireredpunc 四个子包彼此独立、自包含,可单独引入(VAD 与 LID 后续还会作为独立库开源)。
总结
FireRedASR2S 是目前开源领域少见的**"开箱即用"全链路语音识别系统**:
- ✅ 四大模块(ASR / VAD / LID / Punc)全部达到 SOTA,且权重与推理代码完全开源;
- ✅ 24 个公开测试集综合 CER 9.67%,普通话与方言表现均超越 Doubao-ASR、Qwen3-ASR、Fun-ASR;
- ✅ 覆盖普通话、20+ 方言口音、英语、中英混说,甚至歌曲演唱识别;
- ✅ 从脚本一键推理到 Python API、命令行工具、vLLM / TensorRT 加速,部署路径完整。
无论是做会议字幕、方言语音助手,还是多语种内容审核,FireRedASR2S 都值得一试 🚀

