Kyutai STT 2.6B(stt-2.6b-en)是什么?流式语音识别新标杆:仅2.5秒延迟实现实时转录
Kyutai STT 2.6B(stt-2.6b-en)是什么?流式语音识别新标杆:仅2.5秒延迟实现实时转录
Kyutai STT 2.6B(stt-2.6b-en)是 Kyutai 发布的开源流式语音识别(ASR)模型:无需等待整段录音,只需积累约 2.5 秒音频即可开始实时转录,输出带大小写和标点的文字。它专为英文场景设计,对噪声环境鲁棒,甚至能连续处理 2 小时长音频,堪称实时字幕、语音输入、会议转录场景下的流式语音识别新标杆。
流式语音识别是什么?和离线识别差在哪?
先搞懂一个核心区别 👇
| 对比项 | 离线语音识别 | 流式语音识别(stt-2.6b-en) |
|---|---|---|
| 工作方式 | 等整段音频录完再转文字 | 边说边转,2.5 秒左右就开始出字 |
| 典型体验 | "上传录音 → 等待 → 拿全文" | 实时字幕、实时听写 |
| 适用场景 | 离线转写录音文件 | 直播字幕、语音助手、电话客服 |
传统离线 ASR 像"先拍完照片再冲洗",而 Kyutai STT 2.6B 更像"边拍边显影":模型以 12.5 Hz 的帧率持续消费音频流,每帧由 32 个音频 token 表示,文本流相对音频流做了时间偏移,从而让模型"看着前面的声音、写后面的文字"。这个机制让它在仅 2.5 秒延迟的约束下,依然能保持接近离线的识别质量——这正是它被称为"流式语音识别新标杆"的原因。
stt-2.6b-en 的核心亮点 🎯
- 实时转录:
audio_delay_seconds: 2.5,即文本输出比音频仅晚 2.5 秒,接近人耳感知的"实时" - 带格式输出:自动产生大小写和标点,转录文本可直接阅读,无需后处理
- 抗噪鲁棒:在嘈杂环境下表现稳定,实测对长达 2 小时的音频无需额外处理
- 时间戳可恢复:只需从帧时间戳中减去 2.5 秒偏移,即可得到每个词的真实出现时间
- 开源许可:模型权重采用 CC-BY 4.0 许可,商用友好
小提示:Kyutai 还发布了
stt-1b-en_fr(约 1B 参数、英法双语、0.5 秒延迟),适合需要超低延迟和双语支持的用户;而本文主角stt-2.6b-en是纯英文、精度优先的版本。
它是怎么工作的?架构一句话讲清
Kyutai STT 2.6B 是一个 decoder-only Transformer,复用了 Moshi 的多流(multistream)架构,整体分两步:
- 音频编码:音频先被 Mimi 音频 tokenizer 压缩成离散 token(每帧 32 个,帧率 12.5 Hz),仓库中的 mimi-pytorch-e351c8d8@125.safetensors 就是这个组件
- 文本生成:Transformer 主网络(48 层、隐藏维度 2048、32 个头、RoPE 位置编码)消费音频 token 流,逐帧输出 4000 词表(
text_card)中的文本 token,文本流相对音频流前移 2.5 秒,实现"延迟预测"
这套设计的关键在于:它不是"听到完整句子再翻译",而是把说话和写作建模成两条同步但错开的时间流,延迟和精度由此取得了平衡。
仓库里有哪些文件?逐个认识 ⬇️
整个仓库结构非常精简,共 5 个文件:
| 文件 | 作用 |
|---|---|
| README.md | 模型卡(Model Card),含模型详情、训练数据、许可等完整说明 |
| config.json | 模型架构与推理配置,是理解超参数的"钥匙" |
| model.safetensors | 2.6B 参数的 Transformer 主模型权重 |
| mimi-pytorch-e351c8d8@125.safetensors | Mimi 音频 tokenizer 权重,负责把音频切成 12.5 Hz 帧 |
| tokenizer_en_audio_4000.model | 文本 tokenizer 词表(4000 个 token),英文专用 |
config.json 里的关键参数,一次看懂 🔍
打开 config.json,与"实时转录"体验直接相关的配置主要有这些:
"model_type": "stt"—— 声明这是一个流式语音识别模型"audio_delay_seconds": 2.5—— 文本延迟 2.5 秒,即标题中的"仅 2.5 秒延迟""audio_silence_prefix_seconds": 1.0—— 推理开始时先喂 1 秒静音前缀,帮助模型"热身""card": 2048/"text_card": 4000—— 音频词表 2048、文本词表 4000"num_layers": 48/"dim": 2048/"num_heads": 32—— Transformer 主干规模,合计约 2.6B 参数"context": 375—— 上下文窗口为 375 帧(约 30 秒音频)"temp": 0.0—— 解码温度为 0,输出确定性强,转录结果稳定可复现
训练规模:250 万小时喂出来的英文专家 🏋️
根据 README.md 中的训练细节,这个模型的"食量"相当惊人:
- 预训练:250 万小时公开音频(用 whisper-timestamped 生成带时间戳的伪标注)
- 精调:2.4 万小时带真实标注的公开数据集
- 长音频精调:1000 小时 LibriSpeech 拼接样本 + 2.2 万小时合成对话
预训练与精调分别在 48 卡和 16 卡 H100 GPU 上完成。正是这套"海量预训练 → 真值精调 → 长音频精调"的三阶段流程,让它具备了处理 2 小时长音频而质量不衰减的能力。
适合谁用?典型场景一览 ✅
- 实时字幕:直播、视频会议、法庭/会议记录
- 语音输入:英文语音听写、命令转文本
- 客服与语音助手:通话实时转写、意图分析
- 播客/访谈后处理:长音频稳定转录 + 词级时间戳
⚠️ 注意:stt-2.6b-en 是英文专用模型。如果你的场景以中文为主,它无法胜任;需要英法双语或更低延迟时,可考虑同系列的 stt-1b-en_fr。
如何获取 stt-2.6b-en 模型权重?
本项目为只读模型仓库,直接克隆即可离线使用:
git clone https://gitcode.com/hf_mirrors/kyutai/stt-2.6b-en
克隆后即可在本地获得 model.safetensors 主模型、config.json 配置以及 Mimi 音频编码器全部组件,搭配官方推理框架即可跑通流式转录(Hugging Face 的 transformers 4.53.0 以上版本也已支持原生运行)。
写在最后
Kyutai STT 2.6B(stt-2.6b-en)证明了:流式语音识别不必在"延迟"和"精度"之间做痛苦妥协。2.5 秒延迟、自动标点、2 小时长音频稳定输出、CC-BY 4.0 开源许可——对需要"说完立刻出字"的英文实时转录需求来说,它目前就是最值得关注的开源标杆之一。