CTC 头如何把转录对齐到音频?NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 词级时间戳底层原理

原创2026-11-08 17:04:121,976 阅读

CTC 头如何把转录对齐到音频?NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 词级时间戳底层原理

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 是 NVIDIA 发布的开放权重多语言语音转录模型,支持 40 种语言、最长 1 小时音频,并提供词级时间戳(word-level timestamps)——在每个词旁标注起始和结束秒数。本文拆解负责这项工作的 CTC 时间戳头(CTC timestamp head),讲清楚它如何把 LLM 生成的文字精确"钉"到音频时间轴上。

整体定位:CTC 头不生成文字,只做对齐

NVIDIA Nemotron 3.5 Transcribe 模型架构图:ASR 编码器、CTC 时间戳头与 LLM 主干的连接关系

整个模型由三块组成,权重分别存放在不同文件中:

模块 权重文件 职责
并行专家编码器 perception.safetensors 将 16 kHz 音频转成 1280 维逐帧特征,每帧约 80 ms
LLM 主干(30B-A3B MoE) model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors 结合音频特征和 prompt,自回归生成转录文本
CTC 时间戳头 model-ctc-bf16.safetensors 在 LLM 生成完成后,将每个词强制对齐到音频时间轴

核心设计:LLM 负责"说什么",CTC 头负责"什么时候说的"。两者解耦,CTC 头不参与文本生成,也不影响 LLM 的解码主循环。

CTC 头内部结构:仅 2 层 Transformer,41 个权重张量

CTC 头的完整配置记录在 config.json 的 ctc_timestamps.decoder_config 字段中。它是一个极紧凑的 Transformer 解码器:

参数 值 说明
feat_in 1280 输入维度,与 ASR 编码器输出维度一致
num_classes 23862 CTC 输出词表大小(子词 token 数)
n_layers 2 仅 2 层 Transformer,远比 LLM 主干轻量
n_heads 16 每层 16 个注意力头
self_attention_model rope 位置编码方式
upsampling_factor 2 时间轴 2 倍上采样,提升边界精度

model-ctc-bf16.safetensors 中总共只有 41 个权重张量,全部位于 ctc_timestamp.decoder.* 命名空间下,可以在 model.safetensors.index.json 中查看完整清单。相比之下,LLM 主干有数万个权重,CTC 头在整个模型中几乎可以忽略不计。

为什么选 CTC 而不是让 LLM 直接预测时间戳?

CTC(Connectionist Temporal Classification)是连接时序分类的经典框架,天然处理"音频帧数 ≠ 文字 token 数"的不对齐问题,并支持在推理时做强制对齐(force alignment):

  • 确定性:输出由 ASR 编码器逐帧概率直接计算,不依赖 LLM 的自回归采样,避免幻觉出不存在的词或时间戳。
  • 后处理性质:对齐发生在文本生成之后,不增加解码延迟。
  • 边界稳定:配合 alignment_config 中的边界修正参数,输出平滑、连续的词边界。

alignment_config:控制时间戳精度的关键参数

config.json 中的 ctc_timestamps.alignment_config 字段保存了一组精心调过的对齐参数,直接影响每个词 start / end 秒数的计算质量:

参数 值 作用
vad_threshold 0.4641 语音活动检测阈值,低于此值的帧被视为非语音,不归属任何词
speaker_logprob_weight 0.6057 说话人归属对词边界判定的加权系数
upsampling_factor 2 时间轴上采样倍数,将 80 ms 帧细化到约 40 ms 等效精度
max_word_frames 19 单个词最多跨越的帧数上限,防止异常长词
boundary_max_correction_seconds 0.04 词边界最大修正量(秒),防止边界漂移过远
onset_snap_seconds 0.08 词起始时间吸附精度,让起始时刻更贴合真实语音 onset
boundary_interpolation 启用 对边界做多项式插值,平滑相邻词之间的过渡
interpolation_enabled True 启用上述插值

这些参数共同作用:先从 CTC 逐帧概率中找到每个词的大致帧范围,再用 onset_snap_seconds 吸附起始点,用 boundary_max_correction_seconds 约束最大偏移,最后通过插值生成平滑的起止秒数。

如何在推理时开启词级时间戳

使用 vLLM 服务时,需要同时完成两步配置:

第一步:启动服务时挂载 CTC 中间件

--middleware nemo.collections.speechlm2.vllm.salm.ctc_serving.ctc_timestamp_middleware

第二步:在请求中传入时间戳捕获标志

extra_body["mm_processor_kwargs"] = {"capture_ctc_timestamps": True}

对齐成功后,响应中会出现一个顶层 ctc_timestamps 对象:

字段 内容
words 每个词的文本、start(秒)、end(秒)、说话人标签
diarization 来自音频的说话人活动段(说话人分割结果)
speaker_tag_to_diarization_speaker 转录中的 <spk:N> 标签与分割说话人的映射关系
error null 表示成功;非 null 时说明对齐失败及具体原因

⚠️ 注意:若改用 DFlash2 推测解码(而非 MTP8),CTC 对齐会被自动禁用,词级时间戳将不可用。详见 README.md 中 DFlash2 相关说明。

CTC 对齐对推理性能的影响

NVIDIA Nemotron 3.5 Transcribe 在 RTX PRO 6000 Blackwell 上的推理吞吐量与延迟对比:BF16、FP8、NVFP4 三种精度

CTC 头的对齐计算发生在 LLM 解码完成后,属于后处理步骤,不增加自回归解码的主循环延迟。上图展示了该模型在不同精度和并发数下的吞吐量,FP8 版本(即本文模型)在中等并发下即可达到数千倍实时音频处理速度(RTFx),词级时间戳功能不会改变这一性能特征。

小结

NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8 的词级时间戳由一个独立的 CTC 时间戳头实现,核心是一个仅 2 层、16 头的小型 Transformer,权重集中在 model-ctc-bf16.safetensors(41 个张量)。它在 LLM 生成转录文本之后,对 ASR 编码器的逐帧特征做强制对齐,输出每个词精确到秒的起止时间。整个机制轻量、可解释,所有对齐参数均在 config.json 中公开,开发者可根据实际场景调整精度参数。

登录后查看全文
NVIDIA-Nemotron-3.5-Transcribe-30B-A4B-FP8