whisper-tiny.en 配置参考手册:config.json与generation_config.json参数逐项解读
whisper-tiny.en 配置参考手册:config.json与generation_config.json参数逐项解读
本手册面向新手用户,逐项解读 Whisper 语音识别模型仓库 whisper-tiny.en 中的 config.json 与 generation_config.json,帮助你快速理解每个参数的含义,轻松完成语音转文字(ASR)模型的部署与调优。
一、仓库里有哪些配置文件?
whisper-tiny.en 是 OpenAI Whisper 微型英文版的 ONNX 权重仓库,专为 Transformers.js 设计,可在浏览器中运行语音识别。除 onnx/ 目录下的模型权重外,仓库根目录还有几份关键配置:
| 文件 | 作用 |
|---|---|
| config.json | 模型结构定义:层数、维度、词表、特殊 token 等 |
| generation_config.json | 生成(解码)行为配置:停止条件、时间戳等 |
| preprocessor_config.json | 音频特征提取器参数:采样率、梅尔频谱等 |
| tokenizer_config.json | 分词器行为配置 |
| added_tokens.json | 语言/时间戳等特殊 token 的 ID 映射 |
二、config.json 参数逐项解读
1. 模型身份信息
_name_or_path:openai/whisper-tiny.en,标明模型来源,说明这是官方 tiny.en 版本的 ONNX 移植。architectures:WhisperForConditionalGeneration,encoder-decoder 架构的语音识别结构。model_type:whisper,框架据此加载对应的模型类。is_encoder_decoder:true,音频先经 Encoder 编码,再由 Decoder 逐词生成文本。transformers_version:4.33.0.dev0,创建时使用的 transformers 版本,仅作记录。
2. Encoder 结构参数(决定音频理解能力)
| 参数 | 值 | 含义 |
|---|---|---|
encoder_layers |
4 | Encoder 的 Transformer 层数,tiny 版仅 4 层,所以又快又轻 |
d_model |
384 | 每个 token 的向量维度 |
encoder_attention_heads |
6 | 注意力头数 |
encoder_ffn_dim |
1536 | 前馈网络中间层维度 |
num_mel_bins |
80 | 梅尔频谱特征维度,对应 preprocessor_config.json 中的 feature_size |
max_source_positions |
1500 | 输入音频序列最大长度(30 秒 × 50 帧/秒) |
3. Decoder 结构参数(决定文本生成能力)
| 参数 | 值 | 含义 |
|---|---|---|
decoder_layers |
4 | Decoder 层数 |
decoder_attention_heads |
6 | 注意力头数 |
decoder_ffn_dim |
1536 | 前馈网络维度 |
max_target_positions |
448 | 每次生成的最大 token 数,对应 max_length |
vocab_size |
51864 | 词表总大小(含语言、时间戳等特殊 token) |
use_cache |
true | 启用 KV Cache,加速自回归生成 |
4. 特殊 token 与生成控制
这几个参数直接影响识别结果,是配置解读的重点:
bos_token_id/decoder_start_token_id:50257,即<|startoftranscript|>,Decoder 的起始 token。eos_token_id/pad_token_id:50256,即 `
登录后查看全文