SenseVoice模型卡片：50+语种支持能力与性能参数全披露

2026-02-04 04:38:59作者：乔或婵

还在为多语言语音识别效果不佳而烦恼？还在寻找既能识别语音又能分析情感的一体化解决方案？SenseVoice模型为您提供革命性的多语言语音理解能力，支持50+种语言，集语音识别、情感分析、事件检测于一体，推理速度比Whisper快15倍！

读完本文，您将获得：

SenseVoice核心能力全景解析
多语言识别性能对比数据
情感识别与事件检测实战效果
极速推理性能实测数据
完整部署与微调指南

核心技术架构

SenseVoice采用非自回归端到端架构，基于模型代码实现高效的语音理解流水线。核心组件包括：

多头注意力机制：支持SANM（Streaming chunk-aware multihead attention）注意力
位置编码器：正弦位置编码确保时序信息准确捕捉
层归一化优化：改进的LayerNorm实现稳定训练

多语言识别性能卓越

基于超过40万小时多语言数据训练，SenseVoice在多个基准测试集上全面超越Whisper：

测试集	SenseVoice-Small	Whisper-Small	优势
AISHELL-1中文	4.2% CER	5.8% CER	+27%
LibriSpeech英文	3.1% WER	4.2% WER	+26%
Common Voice多语言	8.7%平均	11.2%平均	+22%

情感识别能力突出

SenseVoice在未经目标数据微调的情况下，即可达到专业情感识别模型的效果：

支持情感标签：

<|HAPPY|>：开心
<|SAD|>：悲伤
<|ANGRY|>：愤怒
<|NEUTRAL|>：中性
<|FEARFUL|>：恐惧
<|DISGUSTED|>：厌恶
<|SURPRISED|>：惊讶

音频事件检测全覆盖

尽管主要针对语音训练，SenseVoice仍能有效检测多种音频事件：

事件类型	检测准确率	应用场景
`<	Speech	>`
`<	BGM	>`
`<	Applause	>`
`<	Laughter	>`

极速推理性能

SenseVoice-Small模型推理延迟极低，10秒音频仅需70ms处理时间：

模型	参数量	10s音频耗时	相对速度
SenseVoice-Small	300M	70ms	基准
Whisper-Small	300M	350ms	5倍慢
Whisper-Large	1.5B	1050ms	15倍慢

便捷部署方案

快速推理示例

from funasr import AutoModel
model = AutoModel(model="iic/SenseVoiceSmall", trust_remote_code=True)
res = model.generate(input="audio.wav", language="auto")

服务化部署

export SENSEVOICE_DEVICE=cuda:0
fastapi run --port 50000

Web界面体验

运行webui.py即可启动图形化界面：

数据格式与微调

训练数据采用JSONL格式，参考数据示例：

{
  "key": "unique_id",
  "text_language": "<|zh|>",
  "emo_target": "<|NEUTRAL|>", 
  "event_target": "<|Speech|>",
  "target": "转录文本",
  "source": "音频路径"
}