浏览器里的AI语音识别神器whisper-base:完整解读这个免费开源的语音转文字模型仓库
浏览器里的AI语音识别神器whisper-base:完整解读这个免费开源的语音转文字模型仓库
whisper-base 是一个完全免费开源的语音转文字模型仓库:它把 OpenAI Whisper 的 base 模型转换成了 ONNX 权重,配合 Transformers.js 可以直接在你的浏览器里运行 AI 语音识别,无需服务器、无需 API Key,隐私数据也不用离开本地。本文带你完整解读这个仓库的每个文件、每份配置,并给出最快的上手教程。
🎯 为什么 whisper-base 值得关注?
大多数语音识别服务都要把音频上传到云端,而 whisper-base 走的是另一条路:模型直接跑在浏览器里。
- 🌐 浏览器端推理:基于 ONNX Runtime Web,Chrome / Safari 等现代浏览器即可运行
- 🔒 隐私友好:音频在本地处理,不经过任何服务器
- 🆓 免费开源:采用 Apache 2.0 许可,商用也没问题
- 🌍 99 种语言:支持多语言转录,还能把非英语语音翻译成英语
对新手来说,你不需要懂深度学习,几行代码就能让网页"听懂"你说的话。
📂 仓库文件结构一览
打开仓库,你会看到两类内容:ONNX 模型权重(放在 onnx/ 目录)和一堆 JSON 配置文件。每个文件的用途如下:
| 文件 / 目录 | 作用 |
|---|---|
| onnx/ | ONNX 模型权重,含编码器、解码器及 8 种量化版本 |
| config.json | 模型结构:6 层编码器 + 6 层解码器,词表 51865 个 token |
| generation_config.json | 生成配置:多语言支持、transcribe / translate 两种任务 |
| preprocessor_config.json | 音频预处理:30 秒分块、16kHz 采样率、80 维梅尔频谱 |
| tokenizer.json / vocab.json / merges.txt | BPE 分词器词表与合并规则 |
| added_tokens.json / special_tokens_map.json | 特殊 token:<|transcribe|>、<|translate|>、语言标记 <|zh|> 等 |
| quantize_config.json / quant_config.json | 量化参数:哪些算子量化、用 int8 还是 uint8 |
| README.md | 官方使用说明与示例 |
📦 核心:ONNX 模型与 8 种量化版本
onnx/ 目录是仓库的心脏,里面有 3 组"基础模型",每组又派生出多种量化版本:
三组基础模型(对应 Whisper 的"编码器-解码器"架构):
encoder_model.onnx—— 编码器,负责"听":把音频转成特征向量decoder_model.onnx—— 解码器,负责"说":从特征生成文字decoder_with_past_model.onnx—— 带 KV 缓存的解码器,逐词生成时速度更快
命名后缀 = 量化方式,你可以按需选择"速度与体积"的平衡点:
| 后缀 | 精度 | 适合场景 |
|---|---|---|
| (无后缀) | float32 全精度 | 精度最高,文件最大(编码器约 80MB) |
_fp16 |
16 位浮点 | 体积减半,精度几乎无损 |
_int8 / _uint8 |
8 位整数 | 体积约为全精度的 1/4,推理更快,推荐默认选择 |
_q4 / _q4f16 / _bnb4 |
4 位量化 | 体积最小,适合低端设备与弱网环境 |
_quantized |
混合量化(解码器 int8 + 编码器 uint8) | 综合方案 |
_merged |
—— | 把 decoder 两种形态合并为单文件,加载更简单 |
量化细节可参考 quantize_config.json,其中明确写着解码器使用 QInt8、编码器使用 QUInt8 权重。
⚙️ 关键配置解读:30 秒音频、99 种语言
几个藏在配置文件里的"硬指标",决定了这个模型的用法:
- ⏱️ 30 秒分块:preprocessor_config.json 中
chunk_length: 30、n_samples: 480000(即 16kHz × 30 秒),长音频会被自动切块处理 - 🔊 16kHz 采样率:
sampling_rate: 16000,这是语音识别的标准采样率 - 📊 80 维梅尔频谱:
num_mel_bins: 80,把声波变成模型能"看懂"的特征图 - 🌐 多语言:generation_config.json 中
is_multilingual: true,内置<|en|>、<|zh|>、<|ja|>等约 99 个语言标记 - ✍️ 双任务:
transcribe(转录原语言)与translate(翻译成英语),通过特殊 token 切换
从 config.json 还能看出 base 版的身材:d_model: 512、编码器与解码器各 6 层、注意力头 8 个——这正是 Whisper 家族里"小而快"的代表,专为实时性场景设计。
🚀 如何在浏览器中运行?最快上手教程
这是整个仓库最爽的部分:没有一步需要部署服务器。
第 1 步:安装 Transformers.js
npm i @huggingface/transformers
第 2 步:加载模型并转录音频(示例来自 README.md)
import { pipeline } from '@huggingface/transformers';
const transcriber = await pipeline('automatic-speech-recognition', 'Xenova/whisper-base');
const output = await transcriber('audio.wav'); // 直接传入音频 URL 或本地音频
pipeline('automatic-speech-recognition', ...) 会自动拉取本仓库的 ONNX 权重与分词器,剩下的事情它全包了。你也可以把 Xenova/whisper-base 换成本仓库的本地路径,实现完全离线的语音转文字。
💡 小贴士:第一次运行会下载模型文件,之后浏览器会缓存它们,再次使用就是"秒开"。
⚖️ 性能与体积怎么选?
给不同场景一个简单建议:
| 场景 | 推荐版本 |
|---|---|
| 网页实时转录、追求加载速度 | int8 / uint8 量化版 |
| 低端手机、弱网环境 | q4 / bnb4 4 位量化版 |
| 对准确率要求最高的离线处理 | float32 全精度版 |
如果你只想要"开箱即用"的效果,直接让 Transformers.js 默认加载即可,它会自动选择合适的量化权重。
❓ 常见问题 FAQ
Q1:需要 GPU 吗? 不需要。ONNX Runtime Web 基于 CPU/WebAssembly 推理,普通浏览器即可运行;GPU 支持(如 WebGPU)能进一步提速。
Q2:base 版和 larger 版有什么区别?
whisper-base 约 1.39 亿参数,是精度和速度的平衡款;whisper-large 精度更高但体积与计算量大很多,浏览器端推荐从 base 开始。
Q3:支持中文吗?
支持。语言标记表里包含 <|zh|>(见 generation_config.json),传入 language 参数即可指定中文转录。
Q4:这是"官方"Whisper 吗?
模型权重来自 OpenAI 的 openai/whisper-base,本仓库是面向 Web 的 ONNX 转换版(结构参照 config.json 的 WhisperForConditionalGeneration 架构),专供 Transformers.js 在浏览器中使用。
✅ 总结
whisper-base 仓库的价值可以用三句话概括:
- 它把顶级语音识别模型搬进了浏览器——ONNX 权重 + Transformers.js,零服务器、零 API 费用
- 8 种量化版本覆盖所有设备——从旗舰 PC 到千元手机都有合适的体积/速度方案
- 配置透明、上手极简——3 行 JS 代码即可实现语音转文字
无论是做会议记录工具、无障碍字幕,还是仅仅想给网页加一个"语音输入"按钮,这个免费开源仓库都值得放进你的工具箱。