Kyutai STT 2.6B(stt-2.6b-en)是什么?流式语音识别新标杆:仅2.5秒延迟实现实时转录

原创2026-11-05 11:50:351,988 阅读
文章标签:语音音频人工智能深度学习本地部署

Kyutai STT 2.6B(stt-2.6b-en)是什么?流式语音识别新标杆:仅2.5秒延迟实现实时转录

Kyutai STT 2.6B(stt-2.6b-en)是 Kyutai 发布的开源流式语音识别(ASR)模型:无需等待整段录音,只需积累约 2.5 秒音频即可开始实时转录,输出带大小写和标点的文字。它专为英文场景设计,对噪声环境鲁棒,甚至能连续处理 2 小时长音频,堪称实时字幕、语音输入、会议转录场景下的流式语音识别新标杆。

流式语音识别是什么?和离线识别差在哪?

先搞懂一个核心区别 👇

对比项 离线语音识别 流式语音识别(stt-2.6b-en)
工作方式 等整段音频录完再转文字 边说边转,2.5 秒左右就开始出字
典型体验 "上传录音 → 等待 → 拿全文" 实时字幕、实时听写
适用场景 离线转写录音文件 直播字幕、语音助手、电话客服

传统离线 ASR 像"先拍完照片再冲洗",而 Kyutai STT 2.6B 更像"边拍边显影":模型以 12.5 Hz 的帧率持续消费音频流,每帧由 32 个音频 token 表示,文本流相对音频流做了时间偏移,从而让模型"看着前面的声音、写后面的文字"。这个机制让它在仅 2.5 秒延迟的约束下,依然能保持接近离线的识别质量——这正是它被称为"流式语音识别新标杆"的原因。

stt-2.6b-en 的核心亮点 🎯

  • 实时转录:audio_delay_seconds: 2.5,即文本输出比音频仅晚 2.5 秒,接近人耳感知的"实时"
  • 带格式输出:自动产生大小写和标点,转录文本可直接阅读,无需后处理
  • 抗噪鲁棒:在嘈杂环境下表现稳定,实测对长达 2 小时的音频无需额外处理
  • 时间戳可恢复:只需从帧时间戳中减去 2.5 秒偏移,即可得到每个词的真实出现时间
  • 开源许可:模型权重采用 CC-BY 4.0 许可,商用友好

小提示:Kyutai 还发布了 stt-1b-en_fr(约 1B 参数、英法双语、0.5 秒延迟),适合需要超低延迟和双语支持的用户;而本文主角 stt-2.6b-en 是纯英文、精度优先的版本。

它是怎么工作的?架构一句话讲清

Kyutai STT 2.6B 是一个 decoder-only Transformer,复用了 Moshi 的多流(multistream)架构,整体分两步:

  1. 音频编码:音频先被 Mimi 音频 tokenizer 压缩成离散 token(每帧 32 个,帧率 12.5 Hz),仓库中的 mimi-pytorch-e351c8d8@125.safetensors 就是这个组件
  2. 文本生成:Transformer 主网络(48 层、隐藏维度 2048、32 个头、RoPE 位置编码)消费音频 token 流,逐帧输出 4000 词表(text_card)中的文本 token,文本流相对音频流前移 2.5 秒,实现"延迟预测"

这套设计的关键在于:它不是"听到完整句子再翻译",而是把说话和写作建模成两条同步但错开的时间流,延迟和精度由此取得了平衡。

仓库里有哪些文件?逐个认识 ⬇️

整个仓库结构非常精简,共 5 个文件:

文件 作用
README.md 模型卡(Model Card),含模型详情、训练数据、许可等完整说明
config.json 模型架构与推理配置,是理解超参数的"钥匙"
model.safetensors 2.6B 参数的 Transformer 主模型权重
mimi-pytorch-e351c8d8@125.safetensors Mimi 音频 tokenizer 权重,负责把音频切成 12.5 Hz 帧
tokenizer_en_audio_4000.model 文本 tokenizer 词表(4000 个 token),英文专用

config.json 里的关键参数,一次看懂 🔍

打开 config.json,与"实时转录"体验直接相关的配置主要有这些:

  • "model_type": "stt" —— 声明这是一个流式语音识别模型
  • "audio_delay_seconds": 2.5 —— 文本延迟 2.5 秒,即标题中的"仅 2.5 秒延迟"
  • "audio_silence_prefix_seconds": 1.0 —— 推理开始时先喂 1 秒静音前缀,帮助模型"热身"
  • "card": 2048 / "text_card": 4000 —— 音频词表 2048、文本词表 4000
  • "num_layers": 48 / "dim": 2048 / "num_heads": 32 —— Transformer 主干规模,合计约 2.6B 参数
  • "context": 375 —— 上下文窗口为 375 帧(约 30 秒音频)
  • "temp": 0.0 —— 解码温度为 0,输出确定性强,转录结果稳定可复现

训练规模:250 万小时喂出来的英文专家 🏋️

根据 README.md 中的训练细节,这个模型的"食量"相当惊人:

  1. 预训练:250 万小时公开音频(用 whisper-timestamped 生成带时间戳的伪标注)
  2. 精调:2.4 万小时带真实标注的公开数据集
  3. 长音频精调:1000 小时 LibriSpeech 拼接样本 + 2.2 万小时合成对话

预训练与精调分别在 48 卡和 16 卡 H100 GPU 上完成。正是这套"海量预训练 → 真值精调 → 长音频精调"的三阶段流程,让它具备了处理 2 小时长音频而质量不衰减的能力。

适合谁用?典型场景一览 ✅

  • 实时字幕:直播、视频会议、法庭/会议记录
  • 语音输入:英文语音听写、命令转文本
  • 客服与语音助手:通话实时转写、意图分析
  • 播客/访谈后处理:长音频稳定转录 + 词级时间戳

⚠️ 注意:stt-2.6b-en 是英文专用模型。如果你的场景以中文为主,它无法胜任;需要英法双语或更低延迟时,可考虑同系列的 stt-1b-en_fr。

如何获取 stt-2.6b-en 模型权重?

本项目为只读模型仓库,直接克隆即可离线使用:

git clone https://gitcode.com/hf_mirrors/kyutai/stt-2.6b-en

克隆后即可在本地获得 model.safetensors 主模型、config.json 配置以及 Mimi 音频编码器全部组件,搭配官方推理框架即可跑通流式转录(Hugging Face 的 transformers 4.53.0 以上版本也已支持原生运行)。

写在最后

Kyutai STT 2.6B(stt-2.6b-en)证明了:流式语音识别不必在"延迟"和"精度"之间做痛苦妥协。2.5 秒延迟、自动标点、2 小时长音频稳定输出、CC-BY 4.0 开源许可——对需要"说完立刻出字"的英文实时转录需求来说,它目前就是最值得关注的开源标杆之一。

登录后查看全文
stt-2.6b-en