浏览器里的AI语音识别神器whisper-base:完整解读这个免费开源的语音转文字模型仓库

原创2026-11-12 11:08:49917 阅读
文章标签:人工智能语音本地部署

浏览器里的AI语音识别神器whisper-base:完整解读这个免费开源的语音转文字模型仓库

whisper-base 是一个完全免费开源的语音转文字模型仓库:它把 OpenAI Whisper 的 base 模型转换成了 ONNX 权重,配合 Transformers.js 可以直接在你的浏览器里运行 AI 语音识别,无需服务器、无需 API Key,隐私数据也不用离开本地。本文带你完整解读这个仓库的每个文件、每份配置,并给出最快的上手教程。

🎯 为什么 whisper-base 值得关注?

大多数语音识别服务都要把音频上传到云端,而 whisper-base 走的是另一条路:模型直接跑在浏览器里。

  • 🌐 浏览器端推理:基于 ONNX Runtime Web,Chrome / Safari 等现代浏览器即可运行
  • 🔒 隐私友好:音频在本地处理,不经过任何服务器
  • 🆓 免费开源:采用 Apache 2.0 许可,商用也没问题
  • 🌍 99 种语言:支持多语言转录,还能把非英语语音翻译成英语

对新手来说,你不需要懂深度学习,几行代码就能让网页"听懂"你说的话。

📂 仓库文件结构一览

打开仓库,你会看到两类内容:ONNX 模型权重(放在 onnx/ 目录)和一堆 JSON 配置文件。每个文件的用途如下:

文件 / 目录 作用
onnx/ ONNX 模型权重,含编码器、解码器及 8 种量化版本
config.json 模型结构:6 层编码器 + 6 层解码器,词表 51865 个 token
generation_config.json 生成配置:多语言支持、transcribe / translate 两种任务
preprocessor_config.json 音频预处理:30 秒分块、16kHz 采样率、80 维梅尔频谱
tokenizer.json / vocab.json / merges.txt BPE 分词器词表与合并规则
added_tokens.json / special_tokens_map.json 特殊 token:<|transcribe|>、<|translate|>、语言标记 <|zh|> 等
quantize_config.json / quant_config.json 量化参数:哪些算子量化、用 int8 还是 uint8
README.md 官方使用说明与示例

📦 核心:ONNX 模型与 8 种量化版本

onnx/ 目录是仓库的心脏,里面有 3 组"基础模型",每组又派生出多种量化版本:

三组基础模型(对应 Whisper 的"编码器-解码器"架构):

  • encoder_model.onnx —— 编码器,负责"听":把音频转成特征向量
  • decoder_model.onnx —— 解码器,负责"说":从特征生成文字
  • decoder_with_past_model.onnx —— 带 KV 缓存的解码器,逐词生成时速度更快

命名后缀 = 量化方式,你可以按需选择"速度与体积"的平衡点:

后缀 精度 适合场景
(无后缀) float32 全精度 精度最高,文件最大(编码器约 80MB)
_fp16 16 位浮点 体积减半,精度几乎无损
_int8 / _uint8 8 位整数 体积约为全精度的 1/4,推理更快,推荐默认选择
_q4 / _q4f16 / _bnb4 4 位量化 体积最小,适合低端设备与弱网环境
_quantized 混合量化(解码器 int8 + 编码器 uint8) 综合方案
_merged —— 把 decoder 两种形态合并为单文件,加载更简单

量化细节可参考 quantize_config.json,其中明确写着解码器使用 QInt8、编码器使用 QUInt8 权重。

⚙️ 关键配置解读:30 秒音频、99 种语言

几个藏在配置文件里的"硬指标",决定了这个模型的用法:

  • ⏱️ 30 秒分块:preprocessor_config.json 中 chunk_length: 30、n_samples: 480000(即 16kHz × 30 秒),长音频会被自动切块处理
  • 🔊 16kHz 采样率:sampling_rate: 16000,这是语音识别的标准采样率
  • 📊 80 维梅尔频谱:num_mel_bins: 80,把声波变成模型能"看懂"的特征图
  • 🌐 多语言:generation_config.json 中 is_multilingual: true,内置 <|en|>、<|zh|>、<|ja|> 等约 99 个语言标记
  • ✍️ 双任务:transcribe(转录原语言)与 translate(翻译成英语),通过特殊 token 切换

从 config.json 还能看出 base 版的身材:d_model: 512、编码器与解码器各 6 层、注意力头 8 个——这正是 Whisper 家族里"小而快"的代表,专为实时性场景设计。

🚀 如何在浏览器中运行?最快上手教程

这是整个仓库最爽的部分:没有一步需要部署服务器。

第 1 步:安装 Transformers.js

npm i @huggingface/transformers

第 2 步:加载模型并转录音频(示例来自 README.md)

import { pipeline } from '@huggingface/transformers';

const transcriber = await pipeline('automatic-speech-recognition', 'Xenova/whisper-base');
const output = await transcriber('audio.wav'); // 直接传入音频 URL 或本地音频

pipeline('automatic-speech-recognition', ...) 会自动拉取本仓库的 ONNX 权重与分词器,剩下的事情它全包了。你也可以把 Xenova/whisper-base 换成本仓库的本地路径,实现完全离线的语音转文字。

💡 小贴士:第一次运行会下载模型文件,之后浏览器会缓存它们,再次使用就是"秒开"。

⚖️ 性能与体积怎么选?

给不同场景一个简单建议:

场景 推荐版本
网页实时转录、追求加载速度 int8 / uint8 量化版
低端手机、弱网环境 q4 / bnb4 4 位量化版
对准确率要求最高的离线处理 float32 全精度版

如果你只想要"开箱即用"的效果,直接让 Transformers.js 默认加载即可,它会自动选择合适的量化权重。

❓ 常见问题 FAQ

Q1:需要 GPU 吗? 不需要。ONNX Runtime Web 基于 CPU/WebAssembly 推理,普通浏览器即可运行;GPU 支持(如 WebGPU)能进一步提速。

Q2:base 版和 larger 版有什么区别? whisper-base 约 1.39 亿参数,是精度和速度的平衡款;whisper-large 精度更高但体积与计算量大很多,浏览器端推荐从 base 开始。

Q3:支持中文吗? 支持。语言标记表里包含 <|zh|>(见 generation_config.json),传入 language 参数即可指定中文转录。

Q4:这是"官方"Whisper 吗? 模型权重来自 OpenAI 的 openai/whisper-base,本仓库是面向 Web 的 ONNX 转换版(结构参照 config.json 的 WhisperForConditionalGeneration 架构),专供 Transformers.js 在浏览器中使用。

✅ 总结

whisper-base 仓库的价值可以用三句话概括:

  1. 它把顶级语音识别模型搬进了浏览器——ONNX 权重 + Transformers.js,零服务器、零 API 费用
  2. 8 种量化版本覆盖所有设备——从旗舰 PC 到千元手机都有合适的体积/速度方案
  3. 配置透明、上手极简——3 行 JS 代码即可实现语音转文字

无论是做会议记录工具、无障碍字幕,还是仅仅想给网页加一个"语音输入"按钮,这个免费开源仓库都值得放进你的工具箱。

登录后查看全文
whisper-base