Kyutai STT 2.6B 架构深度解析:延迟流建模如何让 Transformer 边听边写

原创2026-11-05 11:04:161,910 阅读
文章标签:语音音频人工智能深度学习本地部署

Kyutai STT 2.6B 架构深度解析:延迟流建模如何让 Transformer 边听边写

Kyutai STT 2.6B 是 Kyutai 推出的流式语音转文字(Streaming Speech-to-Text, STT)大模型:它基于 Decoder-only Transformer 架构,借助"延迟流建模"(Delayed Streams Modeling)技术,只需听到 2.5 秒音频就能开始输出文本,真正实现"边听边写"。本文带你完整拆解它的架构设计、config.json 中的关键参数以及各权重文件的分工,帮助你快速理解这一 2.6B 参数流式语音识别模型的运作原理。

为什么需要"流式"语音识别?

传统的离线语音转文字(Offline ASR)必须听完整段录音才能开始输出结果,这对会议记录、实时字幕等场景来说延迟太高。而 Kyutai STT 2.6B 属于流式识别模型:

  • 音频一旦累积几秒,字幕就开始逐字滚出;
  • 官方验证其对长音频非常稳健,连续录音 2 小时无需任何额外处理也不会跑偏;
  • 输出的转写文本自带大小写和标点符号,可直接阅读。

🎯 一句话概括:它把"听"和"写"变成了两条并行的流,用巧妙的时间错位让 Transformer 提前知道该写什么。

架构总览:Mimi 音频分词 + 单流 Transformer

Kyutai STT 2.6B 的输入不是原始波形,而是由 Mimi 音频分词器离散化的音频 token 序列,整体架构可以拆成三层:

组件 作用 关键参数
Mimi 音频编码器 把音频切成离散 token 帧率 12.5 Hz,每帧 32 个 token,码本大小 2048
主 Transformer(Decoder-only) 同时建模"音频流 + 文本流"两条 stream dim=2048,48 层,32 头
文本输出头 预测下一个文本 token 词表大小 4000(text_card)

几个值得注意的数字(均可在 config.json 中核对):

  • 12.5 Hz 帧率:即每 80 毫秒一帧,音频流的时间颗粒度非常细;
  • 每帧 32 个音频 token:帧内信息由 32 个并行 token 共同承载;
  • text_card = 4000:文本侧只有 4000 个 token 的轻量词表,配合 tokenizer_en_audio_4000.model 完成分词;
  • context = 375 帧:对应 375 × 80ms = 30 秒的上下文窗口,兼顾长程记忆与推理成本。

核心机制:延迟流建模(Delayed Streams)

这是整个模型最精髓的设计,也是标题中"边听边写"的由来。

文本流相对音频流"错位 2.5 秒"

模型把音频流和文本流作为两条并行的 token 序列送进同一个 Transformer。为了让模型"能听懂再落笔",文本流在时间轴上整体滞后音频流 2.5 秒——这个偏移由 config.json 中的 stt_config.audio_delay_seconds: 2.5 定义。

效果是:当模型在 t 时刻写出第 k 个文本 token 时,它实际上已经"听过" t + 2.5s 之前的音频内容。换言之:

  • 听:模型消费的是当前帧的音频 token;
  • 写:模型输出的是2.5 秒前该说什么文字。

这条时间差既是延迟的代价,也是准确率的来源——Transformer 天然只能利用"过去"的信息,而 2.5 秒的错位等于人为制造了一段可回看的未来,让语言模型有足够上下文把句子"想完整"再落笔。

32 个音频 token 之间零延迟,依赖交给 Depformer

config.json 中的 delays 数组包含 32 个全为 0 的元素:这表示同一帧内的 32 个音频 token 彼此之间不设额外延迟,可以一次性并行预测,最大化推理吞吐。

但帧内 32 个 token 并非完全独立。为此架构中引入了一个小型依赖建模模块(Depformer),专门负责帧内 token 之间的顺序依赖:

Depformer 参数 取值
隐藏维度 1024
层数 6 层
注意力头数 16
位置编码 none(帧内 token 用固定顺序即可)

主 Transformer 负责"跨帧"的长程语义,Depformer 负责"帧内"的精细结构,这种分工让 12.5 Hz 下每帧 32 token 的密集表示既快又稳。

1 秒静音前缀:给模型一个"热身窗口"

stt_config.audio_silence_prefix_seconds: 1.0 表示在真实音频开始前拼接 1 秒静音。这样模型在处理第一帧语音时,上下文里已经有了稳定的静默状态,避免了"冷启动"造成的误识别。

推理与工程配置速查

除架构参数外,config.json 还暴露了相当多的工程细节,对部署同学很有参考价值:

  • 位置编码:rope(旋转位置编码),适合长序列外推;
  • 归一化:rms_norm_f32(以 fp32 精度计算 RMSNorm,提升数值稳定性);
  • 门控激活:silu(SwiGLU 风格的前馈门控);
  • 生成策略(lm_gen_config):温度 0(完全贪心/确定性解码),文本侧 top_k_text = 50,音频侧 top_k = 250——转写任务优先保证稳定不胡言;
  • 模型标识:model_id.sig: dabcc802、epoch: 50,可用来核对权重版本。

此外 config.json 指明 model_type: stt,并通过 mimi_name、tokenizer_name 字段把音频编码器与分词器文件绑定到本仓库。

仓库文件清单:每个文件是干什么的

文件 说明
model.safetensors 主 Transformer 权重(含 Depformer),约 2.6B 参数
mimi-pytorch-e351c8d8@125.safetensors Mimi 音频分词器权重,负责音频 ↔ 12.5Hz×32 帧的离散化
tokenizer_en_audio_4000.model 英语文本分词器(4000 词表),生成带大小写标点的转写
config.json 全部架构与推理参数
README.md 官方 Model Card:语言支持、训练数据、许可证等

提示:本模型为英语专用版本(stt-2.6b-en),权重采用 CC-BY 4.0 许可证,可免费用于开源项目(详见 README.md)。

训练规模:250 万小时喂出来的"耳朵"

据 README.md 的 Model Card 披露,训练分三个阶段:

  1. 预训练:250 万小时公开音频 + 带时间戳的合成转写,奠定音频→文本的通用映射能力;
  2. 微调:2.4 万小时带真值转写的公开数据集,校正细节错误;
  3. 长音频微调:拼接的 LibriSpeech 长段 + 2.2 万小时合成对话,专门强化 2 小时级别长录音的稳定性。

算力上,预训练使用 48 张 H100,微调阶段使用 16 张 H100——对 2.6B 规模的流式 ASR 模型而言是相当"重"的训练投入。

总结:三个设计决策撑起"边听边写"

设计决策 带来的能力
文本流滞后音频流 2.5 秒 模型"预听"未来音频,落笔更准,延迟仍可接受
帧内 32 token 零延迟 + Depformer 高频并行解码,低延迟流式输出
12.5 Hz × 30 秒上下文 细粒度时间分辨率 + 长会话记忆

如果你正在寻找一个免费、带标点、支持超长录音的流式语音转文字方案,Kyutai STT 2.6B 的这套延迟流建模架构值得精读:它展示了如何用一条简单的时间错位,让只"看得见过去"的因果 Transformer,具备了"预听未来"的能力。

登录后查看全文
stt-2.6b-en