为什么 whisper-small.en 只支持英文?5 种 Whisper 模型变体选型完全指南
为什么 whisper-small.en 只支持英文?5 种 Whisper 模型变体选型完全指南
whisper-small.en 是一个面向英文语音识别的轻量级 Whisper 模型仓库,提供 ONNX 格式的模型权重与多种量化版本,可配合 Transformers.js 在浏览器和 Node.js 中直接运行。本文解答"为什么它只支持英文",并给出 5 种 Whisper 模型变体的完整选型指南,帮你快速挑对模型。
一、whisper-small.en 是什么?
whisper-small.en 基于 OpenAI 的 openai/whisper-small.en 模型,转换成了 ONNX 格式 权重,专门用于 Transformers.js 这类在前端/Node 环境运行的推理框架。
仓库结构非常清晰:
| 文件/目录 | 作用 |
|---|---|
| config.json | 模型结构参数(12 层 encoder + 12 层 decoder,d_model=768) |
| generation_config.json | 生成时的解码策略与 token 约束 |
| tokenizer.json、vocab.json | 英文 BPE 分词器(词表大小 51864) |
| preprocessor_config.json | 音频预处理参数(16kHz 采样、80 维 mel 频谱) |
| onnx/ | encoder、decoder 的多种精度 ONNX 权重 |
| quant_config.json | 各 ONNX 文件的量化配置 |
二、为什么 whisper-small.en 只支持英文?
这不是 bug,而是 OpenAI 在训练阶段的刻意设计。
1. 训练语料只用英文
Whisper 家族分为"多语言版"和"英文专用版"(名字带 .en 后缀)。英文专用版只在英文语音上训练,把全部容量集中用来听懂英文,因此在同等参数量下,英文准确率更高、解码更快,也不会出现"把英文听成其他语言"的串扰。
2. 解码策略被锁死为英文模式
翻看仓库里的配置文件就能找到证据:
- generation_config.json 中明确写着
"is_multilingual": false; - config.json 的
forced_decoder_ids与suppress_tokens会强制/屏蔽语言与任务 token,让模型永远运行在"英文转写"模式下,无需再做语言检测; - added_tokens.json 虽然保留了
<|zh|>、<|de|>等语言占位 token(为了和多语言版共用词表),但这些 token 在.en模型中不会被使用。
3. 简单推理:语言选择本身就是一项任务
多语言版模型每次推理要先"猜"这段音频是什么语言,再切换到对应模式;.en 版直接省掉这一步,对浏览器端这种算力紧张的环境尤其友好。
💡 结论:如果你的音频只含英文(英文课程、海外会议、英语播客),
.en系列就是最优解;如果需要中文等多语言识别,请换用多语言版模型(见下文选型表)。
三、快速上手:3 行代码跑通英文语音识别
安装 Transformers.js 后,调用 README.md 中的示例即可:
import { pipeline } from '@huggingface/transformers';
const transcriber = await pipeline('automatic-speech-recognition', 'Xenova/whisper-small.en');
const output = await transcriber('audio.wav'); // 传入本地音频或 URL
模型会自动完成:16kHz 重采样 → 80 维 mel 频谱提取 → encoder 编码 → decoder 逐字生成英文文本。
四、5 种 Whisper 变体速查表
Whisper 按参数量分为 5 个档位,前 3 档还提供英文专用 .en 版本:
| 变体 | 参数量 | 多语言 | 英文专用版 | 定位 |
|---|---|---|---|---|
| whisper-tiny | ~39M | ✅ | ✅ tiny.en | 极速,精度一般 |
| whisper-base | ~74M | ✅ | ✅ base.en | 快速,精度中低 |
| whisper-small | ~244M | ✅ | ✅ small.en | 速度/精度平衡(本仓库) |
| whisper-medium | ~769M | ✅ | ❌ | 高精度,需要较强算力 |
| whisper-large / large-v3 | ~1550M | ✅ | ❌ | 最高精度,支持 100+ 语言 |
规律很简单:越大越准、越慢、越吃显存。
五、选型建议:哪种场景选哪个?
1. 浏览器 / 端侧 + 纯英文 → whisper-small.en ✅
本仓库就是这个场景的推荐答案。small.en 参数量适中,配合 int8 量化后在浏览器中也能流畅运行,是英文场景下"精度与速度的黄金平衡点"。
2. 低配设备 / 实时性要求高 → whisper-base.en 或 whisper-tiny.en
手机、低端笔记本等算力有限的设备,用 base.en 甚至 tiny.en,牺牲一点换实时。
3. 英文准确率要拉满 → 考虑 whisper-large-v3
.en 系列里 small.en 已是天花板。若对英文转写精度有极致要求(如法律文书、医疗记录),可升级到多语言版的 large-v3,代价是模型体积和推理耗时成倍增加,浏览器端一般跑不动。
4. 中文 / 多语言内容 → 多语言版 medium 或 large-v3
再次强调:.en 系列不能用于中文。需要多语言识别时,选 medium(性价比)或 large-v3(精度)。
六、本仓库的 ONNX 量化版本怎么选?
onnx/ 目录下为同一模型提供了多种精度,文件名后缀即精度:
| 后缀 | 精度 | 建议 |
|---|---|---|
| (无后缀,如 encoder_model.onnx) | 16-bit | 默认,精度最佳,体积最大 |
_int8 / _uint8 |
8-bit(QUInt8/QInt8,见 quant_config.json) | ⭐ Web 端首选:速度明显提升,精度损失极小 |
_q4f16 / _q4 |
4-bit | 追求最快、最小时使用 |
_bnb4 |
4-bit (bitsandbytes) | 特定运行时可选 |
_fp16 |
半精度 | 面向支持 fp16 的加速硬件 |
_quantized |
通用量化版 | 兼容更多环境 |
另外注意 onnx 目录中有 3 组模型文件:
encoder_model:音频编码,整段只跑一次;decoder_model:初始解码(无缓存);decoder_with_past_model:带 KV 缓存的增量解码,逐 token 生成时使用,这也是推理速度能提上来的关键。
七、常见问题 FAQ
Q:whisper-small.en 转写中文会输出什么? A:它会被当作英文强行"听",输出往往是乱码或错误的英文,请务必改用多语言版模型。
Q:.en 后缀的模型更小吗?
A:参数量与非 .en 版相同,区别在于训练语料和解码策略(锁定英文),优势是英文场景更专注、更稳。
Q:浏览器里用哪个量化版本最稳?
A:首选 int8 版本,其次 q4f16;若用户设备高端且追求极致精度,可用 16-bit 默认版。
八、总结
- whisper-small.en 只支持英文,是 OpenAI 英文专用训练 + 锁定英文解码策略(
is_multilingual: false)的设计结果; - 纯英文场景选
.en系列,多语言场景选 medium / large-v3; - 浏览器端推荐 whisper-small.en + int8 量化 的组合,兼顾速度、体积与精度。
核心资料索引:README.md · config.json · generation_config.json · onnx/ · quant_config.json