如何部署Kyutai STT 2.6B?流式语音识别服务上线实战清单
如何部署Kyutai STT 2.6B?流式语音识别服务上线实战清单
一、先认识它:Kyutai STT 2.6B 流式语音识别模型是什么
Kyutai STT 2.6B(stt-2.6b-en)是 Kyutai 团队开源的流式语音识别(Streaming STT / ASR)模型,约 26 亿参数、支持英文,音频只到几秒钟就能开始输出文字,而不是像离线转写那样要等整段音频录完。这是它与传统语音识别最大的区别,也是把它部署成实时服务的核心价值。
| 核心属性 | 说明 |
|---|---|
| 模型类型 | 流式语音转文本(decoder-only Transformer) |
| 参数量 | 约 2.6B |
| 支持语言 | 仅英文 |
| 音频帧率 | 12.5 Hz,每帧 32 个 audio token(由 Mimi 编码器切分) |
| 文本输出延迟 | 约 2.5 秒(文本流相对音频流偏移 2.5s) |
| 长音频能力 | 官方验证 2 小时长音频无需额外处理 |
| 输出特性 | 自带大写与标点;抗噪表现好 |
| 许可证 | CC-BY 4.0(权重) |
💡 模型原理与训练细节见模型卡 README.md:它复用了 Moshi 的多流(multistream)架构,基于音频流建模文本流,属于"边听边写"的流式方案。
另外注意:官方从 transformers >= 4.53.0 起原生支持该系列,可另取 stt-2.6b-en-trfs 变体,用 Transformers 生态直接加载,适合追求集成便利的团队。
二、部署前盘点:仓库里有什么文件
本仓库是一个模型权重仓库,部署前先把"家底"摸清。仓库共 5 个文件,各司其职:
| 文件 | 作用 |
|---|---|
| model.safetensors | STT 主干模型权重(约 2.6B 参数),部署的核心资产 |
| mimi-pytorch-e351c8d8@125.safetensors | Mimi 音频分词器权重,负责把原始音频切成 12.5 Hz 的 audio token |
| tokenizer_en_audio_4000.model | 英文音频 tokenizer(码本大小 4000,对应 config 中 text_card/card 体系) |
| config.json | 模型结构与推理超参数配置,调优时必看的文件 |
| README.md | 官方模型卡,含架构、训练数据与使用边界说明 |
硬件评估建议:2.6B 参数在 FP16 下权重约 5.2GB,加上 KV cache 与音频编码器开销,建议 GPU 显存 ≥ 8GB;使用 8bit 量化可将显存压到约 4GB 量级。CPU 可跑但帧率 12.5 Hz 的实时流会吃紧,生产环境请优先 GPU。
三、一键获取模型权重
git clone https://gitcode.com/hf_mirrors/kyutai/stt-2.6b-en
克隆后请对照上文表格检查 5 个文件是否完整,四个权重/配置文件缺一不可:推理入口需要同时加载 Mimi 编码器与 STT 主干,缺少任一项都会在初始化阶段报错。config.json 中已声明了对应关系:
"mimi_name": "mimi-pytorch-e351c8d8@125.safetensors""tokenizer_name": "tokenizer_en_audio_4000.model"
(见 config.json)
四、读懂 config.json:关键部署参数解读
配置是部署调优的"说明书",以下参数直接决定服务行为,值得逐一了解:
1️⃣ 流式延迟与静音前缀 —— 服务时序的地基
"stt_config": {
"audio_delay_seconds": 2.5,
"audio_silence_prefix_seconds": 1.0
}
(config.json)audio_delay_seconds: 2.5 即文本流偏移量——某帧文字对应的是 2.5 秒前的语音,这是时间戳对齐的依据;audio_silence_prefix_seconds: 1.0 表示推理开始前会预填充 1 秒静音,冷启动更快。
2️⃣ 解码策略 —— 稳定性的关键
"lm_gen_config": { "temp": 0.0, "top_k": 250, "top_k_text": 50 }
(config.json)温度 0 表示贪心解码、输出确定可复现,适合生产环境做结果回归测试;文本侧 top_k: 50 保证词元选择足够收敛,避免实时服务中出现"幻觉文字"。
3️⃣ 模型结构参数 —— 显存与兼容性的参考
"dim": 2048、"num_layers": 48、"num_heads": 32:主干宽度,评估显存占用的依据"context": 375(config.json):上下文窗口 375 帧 ≈ 30 秒音频,超长实时会话需关注滑动窗口策略"causal": true+ RoPE 位置编码:因果自注意力,天然适配流式增量推理
五、流式推理管线搭建要点
结合 README.md 的架构说明,一条完整的部署链路如下:
麦克风/音频流 → 重采样与分帧 → Mimi 编码(12.5 Hz × 32 tokens)→ STT Transformer 增量解码 → 文本输出(带标点、大写)
搭建时把握 4 个要点:
- 分帧节奏:按 12.5 Hz 切音频帧(每帧 80ms),每帧产出 32 个 audio token 送入模型,保证"边听边算"不掉帧。
- 增量解码:模型是 causal 结构,维护 KV cache 做增量前向即可,无需每帧全量重算。
- 冷启动优化:沿用
audio_silence_prefix_seconds的 1 秒静音前缀策略,减少首字输出延迟体感。 - 时间戳还原:文字 token 的时间戳 = 所在帧的时间偏移 减去 2.5 秒(模型固定偏移),对接字幕/对齐业务时务必做这一步,否则时间轴整体后移 2.5 秒。
六、上线前实战检查清单
按此清单逐项打勾,服务可放心交付:
- [ ] 文件完整性:
model.safetensors、Mimi 权重、tokenizer、config.json四件套齐全 - [ ] 环境版本:Python + PyTorch 版本与官方推理代码(delayed-streams-modeling 仓库)要求一致
- [ ] 冒烟测试:用一段 10 秒英文语音跑通端到端,确认能流式吐字而非等音频结束
- [ ] 延迟达标:实测首字延迟 ≈ 2.5s 文本偏移 + 网络缓冲,符合 SLA 预期
- [ ] 时间戳校验:对比已知语句的时间戳,确认已完成 2.5 秒偏移校正
- [ ] 长音频压测:连续输入 ≥ 2 小时音频(官方验证区间),监控显存是否稳定、无泄漏
- [ ] 噪声鲁棒性:加入背景音乐/环境噪声样本,确认转写质量不塌方
- [ ] 输出规范:确认带标点、大写的转写符合下游(字幕、检索、日志)格式要求
- [ ] 合规检查:CC-BY 4.0 要求注明出处,产品页/文档中保留署名信息
⚠️ 常见坑:
text_card为 4000,加载 tokenizer 时不要混用其他语言版本;top_k_text: 50是文本侧专用采样参数,与音频侧top_k: 250分开处理,切勿合并。
七、总结
Kyutai STT 2.6B 部署的难点不在"跑起来",而在流式时序的正确性:12.5 Hz 分帧节奏、2.5 秒文本偏移校正、KV cache 增量推理三件事做对,实时语音识别服务才算真正"上线就绪"。对照本文清单走一遍,你就能把这份 CC-BY 4.0 的开源权重变成稳定可交付的流式转写能力。