CTC 头如何把转录对齐到音频?NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 词级时间戳底层原理
CTC 头如何把转录对齐到音频?NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 词级时间戳底层原理
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 是 NVIDIA 发布的开放权重多语言语音转录模型,支持 40 种语言、最长 1 小时音频,并提供词级时间戳(word-level timestamps)——在每个词旁标注起始和结束秒数。本文拆解负责这项工作的 CTC 时间戳头(CTC timestamp head),讲清楚它如何把 LLM 生成的文字精确"钉"到音频时间轴上。
整体定位:CTC 头不生成文字,只做对齐
整个模型由三块组成,权重分别存放在不同文件中:
| 模块 | 权重文件 | 职责 |
|---|---|---|
| 并行专家编码器 | perception.safetensors | 将 16 kHz 音频转成 1280 维逐帧特征,每帧约 80 ms |
| LLM 主干(30B-A3B MoE) | model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors | 结合音频特征和 prompt,自回归生成转录文本 |
| CTC 时间戳头 | model-ctc-bf16.safetensors | 在 LLM 生成完成后,将每个词强制对齐到音频时间轴 |
核心设计:LLM 负责"说什么",CTC 头负责"什么时候说的"。两者解耦,CTC 头不参与文本生成,也不影响 LLM 的解码主循环。
CTC 头内部结构:仅 2 层 Transformer,41 个权重张量
CTC 头的完整配置记录在 config.json 的 ctc_timestamps.decoder_config 字段中。它是一个极紧凑的 Transformer 解码器:
| 参数 | 值 | 说明 |
|---|---|---|
feat_in |
1280 | 输入维度,与 ASR 编码器输出维度一致 |
num_classes |
23862 | CTC 输出词表大小(子词 token 数) |
n_layers |
2 | 仅 2 层 Transformer,远比 LLM 主干轻量 |
n_heads |
16 | 每层 16 个注意力头 |
self_attention_model |
rope | 位置编码方式 |
upsampling_factor |
2 | 时间轴 2 倍上采样,提升边界精度 |
model-ctc-bf16.safetensors 中总共只有 41 个权重张量,全部位于 ctc_timestamp.decoder.* 命名空间下,可以在 model.safetensors.index.json 中查看完整清单。相比之下,LLM 主干有数万个权重,CTC 头在整个模型中几乎可以忽略不计。
为什么选 CTC 而不是让 LLM 直接预测时间戳?
CTC(Connectionist Temporal Classification)是连接时序分类的经典框架,天然处理"音频帧数 ≠ 文字 token 数"的不对齐问题,并支持在推理时做强制对齐(force alignment):
- 确定性:输出由 ASR 编码器逐帧概率直接计算,不依赖 LLM 的自回归采样,避免幻觉出不存在的词或时间戳。
- 后处理性质:对齐发生在文本生成之后,不增加解码延迟。
- 边界稳定:配合
alignment_config中的边界修正参数,输出平滑、连续的词边界。
alignment_config:控制时间戳精度的关键参数
config.json 中的 ctc_timestamps.alignment_config 字段保存了一组精心调过的对齐参数,直接影响每个词 start / end 秒数的计算质量:
| 参数 | 值 | 作用 |
|---|---|---|
vad_threshold |
0.4641 | 语音活动检测阈值,低于此值的帧被视为非语音,不归属任何词 |
speaker_logprob_weight |
0.6057 | 说话人归属对词边界判定的加权系数 |
upsampling_factor |
2 | 时间轴上采样倍数,将 80 ms 帧细化到约 40 ms 等效精度 |
max_word_frames |
19 | 单个词最多跨越的帧数上限,防止异常长词 |
boundary_max_correction_seconds |
0.04 | 词边界最大修正量(秒),防止边界漂移过远 |
onset_snap_seconds |
0.08 | 词起始时间吸附精度,让起始时刻更贴合真实语音 onset |
boundary_interpolation |
启用 | 对边界做多项式插值,平滑相邻词之间的过渡 |
interpolation_enabled |
True | 启用上述插值 |
这些参数共同作用:先从 CTC 逐帧概率中找到每个词的大致帧范围,再用 onset_snap_seconds 吸附起始点,用 boundary_max_correction_seconds 约束最大偏移,最后通过插值生成平滑的起止秒数。
如何在推理时开启词级时间戳
使用 vLLM 服务时,需要同时完成两步配置:
第一步:启动服务时挂载 CTC 中间件
--middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware
第二步:在请求中传入时间戳捕获标志
extra_body["mm_processor_kwargs"] = {"capture_ctc_timestamps": True}
对齐成功后,响应中会出现一个顶层 ctc_timestamps 对象:
| 字段 | 内容 |
|---|---|
words |
每个词的文本、start(秒)、end(秒)、说话人标签 |
diarization |
来自音频的说话人活动段(说话人分割结果) |
speaker_tag_to_diarization_speaker |
转录中的 <spk:N> 标签与分割说话人的映射关系 |
error |
null 表示成功;非 null 时说明对齐失败及具体原因 |
⚠️ 注意:若改用 DFlash2 推测解码(而非 MTP8),CTC 对齐会被自动禁用,词级时间戳将不可用。详见 README.md 中 DFlash2 相关说明。
CTC 对齐对推理性能的影响
CTC 头的对齐计算发生在 LLM 解码完成后,属于后处理步骤,不增加自回归解码的主循环延迟。上图展示了该模型在不同精度和并发数下的吞吐量,FP8 版本(即本文模型)在中等并发下即可达到数千倍实时音频处理速度(RTFx),词级时间戳功能不会改变这一性能特征。
小结
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 的词级时间戳由一个独立的 CTC 时间戳头实现,核心是一个仅 2 层、16 头的小型 Transformer,权重集中在 model-ctc-bf16.safetensors(41 个张量)。它在 LLM 生成转录文本之后,对 ASR 编码器的逐帧特征做强制对齐,输出每个词精确到秒的起止时间。整个机制轻量、可解释,所有对齐参数均在 config.json 中公开,开发者可根据实际场景调整精度参数。

