whisper-tiny.en 配置参考手册:config.json与generation_config.json参数逐项解读

原创2026-11-11 20:06:351,888 阅读

whisper-tiny.en 配置参考手册:config.json与generation_config.json参数逐项解读

本手册面向新手用户,逐项解读 Whisper 语音识别模型仓库 whisper-tiny.en 中的 config.json 与 generation_config.json,帮助你快速理解每个参数的含义,轻松完成语音转文字(ASR)模型的部署与调优。

一、仓库里有哪些配置文件?

whisper-tiny.en 是 OpenAI Whisper 微型英文版的 ONNX 权重仓库,专为 Transformers.js 设计,可在浏览器中运行语音识别。除 onnx/ 目录下的模型权重外,仓库根目录还有几份关键配置:

文件 作用
config.json 模型结构定义:层数、维度、词表、特殊 token 等
generation_config.json 生成(解码)行为配置:停止条件、时间戳等
preprocessor_config.json 音频特征提取器参数:采样率、梅尔频谱等
tokenizer_config.json 分词器行为配置
added_tokens.json 语言/时间戳等特殊 token 的 ID 映射

二、config.json 参数逐项解读

1. 模型身份信息

  • _name_or_path:openai/whisper-tiny.en,标明模型来源,说明这是官方 tiny.en 版本的 ONNX 移植。
  • architectures:WhisperForConditionalGeneration,encoder-decoder 架构的语音识别结构。
  • model_type:whisper,框架据此加载对应的模型类。
  • is_encoder_decoder:true,音频先经 Encoder 编码,再由 Decoder 逐词生成文本。
  • transformers_version:4.33.0.dev0,创建时使用的 transformers 版本,仅作记录。

2. Encoder 结构参数(决定音频理解能力)

参数 值 含义
encoder_layers 4 Encoder 的 Transformer 层数,tiny 版仅 4 层,所以又快又轻
d_model 384 每个 token 的向量维度
encoder_attention_heads 6 注意力头数
encoder_ffn_dim 1536 前馈网络中间层维度
num_mel_bins 80 梅尔频谱特征维度,对应 preprocessor_config.json 中的 feature_size
max_source_positions 1500 输入音频序列最大长度(30 秒 × 50 帧/秒)

3. Decoder 结构参数(决定文本生成能力)

参数 值 含义
decoder_layers 4 Decoder 层数
decoder_attention_heads 6 注意力头数
decoder_ffn_dim 1536 前馈网络维度
max_target_positions 448 每次生成的最大 token 数,对应 max_length
vocab_size 51864 词表总大小(含语言、时间戳等特殊 token)
use_cache true 启用 KV Cache,加速自回归生成

4. 特殊 token 与生成控制

这几个参数直接影响识别结果,是配置解读的重点:

  • bos_token_id / decoder_start_token_id:50257,即 <|startoftranscript|>,Decoder 的起始 token。
  • eos_token_id / pad_token_id:50256,即 `
登录后查看全文
whisper-tiny.en