Kyutai STT 2.6B 架构深度解析:延迟流建模如何让 Transformer 边听边写
Kyutai STT 2.6B 架构深度解析:延迟流建模如何让 Transformer 边听边写
Kyutai STT 2.6B 是 Kyutai 推出的流式语音转文字(Streaming Speech-to-Text, STT)大模型:它基于 Decoder-only Transformer 架构,借助"延迟流建模"(Delayed Streams Modeling)技术,只需听到 2.5 秒音频就能开始输出文本,真正实现"边听边写"。本文带你完整拆解它的架构设计、config.json 中的关键参数以及各权重文件的分工,帮助你快速理解这一 2.6B 参数流式语音识别模型的运作原理。
为什么需要"流式"语音识别?
传统的离线语音转文字(Offline ASR)必须听完整段录音才能开始输出结果,这对会议记录、实时字幕等场景来说延迟太高。而 Kyutai STT 2.6B 属于流式识别模型:
- 音频一旦累积几秒,字幕就开始逐字滚出;
- 官方验证其对长音频非常稳健,连续录音 2 小时无需任何额外处理也不会跑偏;
- 输出的转写文本自带大小写和标点符号,可直接阅读。
🎯 一句话概括:它把"听"和"写"变成了两条并行的流,用巧妙的时间错位让 Transformer 提前知道该写什么。
架构总览:Mimi 音频分词 + 单流 Transformer
Kyutai STT 2.6B 的输入不是原始波形,而是由 Mimi 音频分词器离散化的音频 token 序列,整体架构可以拆成三层:
| 组件 | 作用 | 关键参数 |
|---|---|---|
| Mimi 音频编码器 | 把音频切成离散 token | 帧率 12.5 Hz,每帧 32 个 token,码本大小 2048 |
| 主 Transformer(Decoder-only) | 同时建模"音频流 + 文本流"两条 stream | dim=2048,48 层,32 头 |
| 文本输出头 | 预测下一个文本 token | 词表大小 4000(text_card) |
几个值得注意的数字(均可在 config.json 中核对):
- 12.5 Hz 帧率:即每 80 毫秒一帧,音频流的时间颗粒度非常细;
- 每帧 32 个音频 token:帧内信息由 32 个并行 token 共同承载;
- text_card = 4000:文本侧只有 4000 个 token 的轻量词表,配合 tokenizer_en_audio_4000.model 完成分词;
- context = 375 帧:对应 375 × 80ms = 30 秒的上下文窗口,兼顾长程记忆与推理成本。
核心机制:延迟流建模(Delayed Streams)
这是整个模型最精髓的设计,也是标题中"边听边写"的由来。
文本流相对音频流"错位 2.5 秒"
模型把音频流和文本流作为两条并行的 token 序列送进同一个 Transformer。为了让模型"能听懂再落笔",文本流在时间轴上整体滞后音频流 2.5 秒——这个偏移由 config.json 中的 stt_config.audio_delay_seconds: 2.5 定义。
效果是:当模型在 t 时刻写出第 k 个文本 token 时,它实际上已经"听过" t + 2.5s 之前的音频内容。换言之:
- 听:模型消费的是当前帧的音频 token;
- 写:模型输出的是2.5 秒前该说什么文字。
这条时间差既是延迟的代价,也是准确率的来源——Transformer 天然只能利用"过去"的信息,而 2.5 秒的错位等于人为制造了一段可回看的未来,让语言模型有足够上下文把句子"想完整"再落笔。
32 个音频 token 之间零延迟,依赖交给 Depformer
config.json 中的 delays 数组包含 32 个全为 0 的元素:这表示同一帧内的 32 个音频 token 彼此之间不设额外延迟,可以一次性并行预测,最大化推理吞吐。
但帧内 32 个 token 并非完全独立。为此架构中引入了一个小型依赖建模模块(Depformer),专门负责帧内 token 之间的顺序依赖:
| Depformer 参数 | 取值 |
|---|---|
| 隐藏维度 | 1024 |
| 层数 | 6 层 |
| 注意力头数 | 16 |
| 位置编码 | none(帧内 token 用固定顺序即可) |
主 Transformer 负责"跨帧"的长程语义,Depformer 负责"帧内"的精细结构,这种分工让 12.5 Hz 下每帧 32 token 的密集表示既快又稳。
1 秒静音前缀:给模型一个"热身窗口"
stt_config.audio_silence_prefix_seconds: 1.0 表示在真实音频开始前拼接 1 秒静音。这样模型在处理第一帧语音时,上下文里已经有了稳定的静默状态,避免了"冷启动"造成的误识别。
推理与工程配置速查
除架构参数外,config.json 还暴露了相当多的工程细节,对部署同学很有参考价值:
- 位置编码:
rope(旋转位置编码),适合长序列外推; - 归一化:
rms_norm_f32(以 fp32 精度计算 RMSNorm,提升数值稳定性); - 门控激活:
silu(SwiGLU 风格的前馈门控); - 生成策略(
lm_gen_config):温度 0(完全贪心/确定性解码),文本侧top_k_text = 50,音频侧top_k = 250——转写任务优先保证稳定不胡言; - 模型标识:
model_id.sig: dabcc802、epoch: 50,可用来核对权重版本。
此外 config.json 指明 model_type: stt,并通过 mimi_name、tokenizer_name 字段把音频编码器与分词器文件绑定到本仓库。
仓库文件清单:每个文件是干什么的
| 文件 | 说明 |
|---|---|
| model.safetensors | 主 Transformer 权重(含 Depformer),约 2.6B 参数 |
| mimi-pytorch-e351c8d8@125.safetensors | Mimi 音频分词器权重,负责音频 ↔ 12.5Hz×32 帧的离散化 |
| tokenizer_en_audio_4000.model | 英语文本分词器(4000 词表),生成带大小写标点的转写 |
| config.json | 全部架构与推理参数 |
| README.md | 官方 Model Card:语言支持、训练数据、许可证等 |
提示:本模型为英语专用版本(
stt-2.6b-en),权重采用 CC-BY 4.0 许可证,可免费用于开源项目(详见 README.md)。
训练规模:250 万小时喂出来的"耳朵"
据 README.md 的 Model Card 披露,训练分三个阶段:
- 预训练:250 万小时公开音频 + 带时间戳的合成转写,奠定音频→文本的通用映射能力;
- 微调:2.4 万小时带真值转写的公开数据集,校正细节错误;
- 长音频微调:拼接的 LibriSpeech 长段 + 2.2 万小时合成对话,专门强化 2 小时级别长录音的稳定性。
算力上,预训练使用 48 张 H100,微调阶段使用 16 张 H100——对 2.6B 规模的流式 ASR 模型而言是相当"重"的训练投入。
总结:三个设计决策撑起"边听边写"
| 设计决策 | 带来的能力 |
|---|---|
| 文本流滞后音频流 2.5 秒 | 模型"预听"未来音频,落笔更准,延迟仍可接受 |
| 帧内 32 token 零延迟 + Depformer | 高频并行解码,低延迟流式输出 |
| 12.5 Hz × 30 秒上下文 | 细粒度时间分辨率 + 长会话记忆 |
如果你正在寻找一个免费、带标点、支持超长录音的流式语音转文字方案,Kyutai STT 2.6B 的这套延迟流建模架构值得精读:它展示了如何用一条简单的时间错位,让只"看得见过去"的因果 Transformer,具备了"预听未来"的能力。