6.25Hz 的标记率:为什么把发声频率降下来反而更省算力

原创2026-10-24 20:39:551,717 阅读
文章标签:人工智能语音音频深度学习机器学习微调LoRA本地部署openBMB

6.25Hz 的标记率:为什么把发声频率降下来反而更省算力

VoxCPM1.5 的更新日志里有一句容易被忽略的话:主干 LM 的标记率从 12.5Hz 降到 6.25Hz,同时把 AudioVAE 的采样率从 16kHz 提到了 44.1kHz。两件事方向相反——时间轴上更稀疏,频率轴上更精细——但官方给出的结论是 RTF 没有变差、甚至可能更快,参数量却从 640M 涨到了 800M。

社区里的第一反应往往是困惑:既然每秒钟只出 6.25 个标记,那生成 1 秒音频的迭代次数少了一半,进度条上的 it/s 为什么看起来还变慢了?把"发声频率"降下来,算力究竟是从哪里省出来的?

要回答这个问题,必须先把三件常被混为一谈的事分开:波形的采样率、AudioVAE 的帧率、语言模型的标记率。这篇文章会沿着仓库里的真实代码,把这三层拆开,算清楚 6.25Hz 到底省掉了谁的算力、又把成本转移到了哪里。

先厘清:降的是"标记率",不是"采样率"

VoxCPM 是 tokenizer-free 的 TTS,但它并不是"没有离散化",而是把量化约束放进了连续表征的层次结构里。真正决定时间分辨率的是 AudioVAE 的 hop length:

# src/voxcpm/modules/audiovae/audio_vae.py
self.hop_length = np.prod(encoder_rates)
self.chunk_size = math.prod(encoder_rates)

默认配置 encoder_rates = [2, 5, 8, 8],乘积为 640,配合 sample_rate = 16000,得到 VAE 帧率 16000 / 640 = 25 fps,即每个潜变量帧覆盖 40ms 波形。VoxCPM1.5 把采样率提到 44100、hop 相应变为 1764(44100 / 25,由固定 25fps 反推),帧率依旧是 25 fps。

这一点在训练侧被硬编码印证了两次:

# src/voxcpm/training/packers.py
audio_duration = audio_feats.size(1) / 25
audio_feats = rearrange(audio_feats, "b (t p) c -> b t p c", p=self.patch_size)
# src/voxcpm/training/data.py
t_vae = math.ceil(float(duration) * audio_vae_fps)   # audio_vae_fps 默认 25
t_seq = math.ceil(t_vae / patch_size)
total_len = text_len + t_seq + 2

也就是说:AudioVAE 始终以 25fps 编码,标记率 = 25 / patch_size。patch_size 从 2 变成 4,才有了 12.5Hz → 6.25Hz。代码里没有任何一处把 VAE 的帧率降下来——恰恰相反,1.5 把每一帧所承载的波形采样点从 640 提升到了 1764。

VoxCPM 整体架构:文本-语义 LM、残差声学 LM 与 Local Enc/DiT 的分工

这个区分至关重要。如果真把 VAE 帧率压到 6.25fps,每个潜变量帧要代表 160ms 波形,高频细节在编码阶段就已经不可逆地丢失了;而现在的做法是让 LM 每 160ms 做一次决策,Local 模块仍然按 40ms 一帧还原细节。降的是"决策频率",不是"信号带宽"。

标记率与序列长度的换算关系

把换算写成公式,一切就变得直观:给定音频时长 d(秒),LM 需要自回归的步数是 ceil(ceil(25d) / 4)。

音频时长 VAE 帧数(25fps) patch=2(12.5Hz) patch=4(6.25Hz)
1 s 25 13 7
10 s 250 125 63
30 s 750 375 188
60 s 1500 750 375
300 s 7500 3750 1875

两个立刻能感知的后果:

其一是自回归步数精确减半。 而自回归解码的每一步,在 _inference 里都是一整套固定开销:

# src/voxcpm/model/voxcpm.py
for i in tqdm(range(max_len)):
    dit_hidden = self.lm_to_dit_proj(lm_hidden) + self.res_to_dit_proj(residual_hidden)
    pred_feat = self.feat_decoder(
        mu=dit_hidden, patch_size=self.patch_size,
        cond=prefix_feat_cond.transpose(1, 2).contiguous(),
        n_timesteps=inference_timesteps, cfg_value=cfg_value,
    ).transpose(1, 2)
    curr_embed = self.feat_encoder(pred_feat.unsqueeze(1))
    ...
    lm_hidden = self.base_lm.forward_step(...)
    lm_hidden = self.fsq_layer(lm_hidden)
    residual_hidden = self.residual_lm.forward_step(...)

一步之内,要跑一次 DiT(其中包含 inference_timesteps 次估计器前向,且 CFG 会把 batch 翻倍)、一次 LocEnc、一次主干 LM 的 forward_step、一次 FSQ 量化、一次残差 LM 的 forward_step、一次 stop predictor 判断。步数减半,这些"每步固定成本"全部减半,而它们中有大量是与序列长度无关的常数项:kernel launch、Python 层调度、投影层的小矩阵乘。对小 batch 的流式推理来说,这部分往往比 FLOPs 更影响实际延迟——这也是为什么仓库里的 optimize() 要专门用 torch.compile(..., mode="reduce-overhead") 去压 forward_step、feat_encoder、feat_decoder.estimator 这些"每步都要进一次"的函数。

其二是 KV cache 的有效容量翻倍。 模型初始化时按配置预分配静态缓存:

# src/voxcpm/model/voxcpm.py
self.base_lm.setup_cache(1, config.max_length, self.device, get_dtype(self.config.dtype))
self.residual_lm.setup_cache(1, config.max_length, self.device, get_dtype(self.config.dtype))

max_length 默认 4096,它数的是 token 而不是秒。在 12.5Hz 下,4096 个 token 约合 327 秒音频;在 6.25Hz 下则是约 655 秒——同样的显存预算,可生成的音频时长直接翻倍。发布说明里"为更长音频生成打基础"这句话,落到代码上就是这个非常具体的容量效应。

顺带说一句注意力账。带 KV cache 的自回归解码,第 t 步的注意力要对 t 个历史位置做点积,一段 N 步的生成累计是 O(N²)。N 减半,累计注意力工作量降到原来的约 1/4;而在长上下文场景下(前缀远长于当前句),单步成本近似正比于上下文长度,稳态下每生成一秒音频的注意力成本同样减半。

算力账本:省掉的到底是谁的算力

现在必须诚实回答那个反问:总得有人来生成那 4 帧细节,工作量凭空消失了吗?

没有。它被搬到了 Local 模块,而 Local 模块本来就与音频帧数成正比,与标记率无关。

看 _inference 里的数据流:LM 每个 token 输出一个 dit_hidden,DiT 以它作为条件,一次去噪 patch_size 帧;feat_encoder 再把这一整块 4 帧压回一个 embedding 喂给下一步。也就是说,DiT 与 LocEnc 处理的潜变量帧总数,在两种标记率下是完全一致的——1 秒音频永远是 25 帧。

# src/voxcpm/modules/locdit/local_dit.py
x = torch.cat([(mu + t).unsqueeze(1), cond, x], dim=1)
hidden, _ = self.decoder(x, is_causal=False)
hidden = hidden[:, prefix + 1 :, :]

从这行拼接可以看出 DiT 的实际序列长度:1(mu)+ patch_size(上一块作条件)+ patch_size(当前待去噪帧)。patch=2 时是 5,patch=4 时是 9。所以在 DiT 内部,单个 token 的线性层工作量涨了约 1.8 倍、注意力工作量涨了约 3.2 倍,但 token 数少了一半——折算到每秒钟音频,DiT 的线性部分大致持平略降,注意力部分略有上升。这就是"省算力"不能理解成"所有模块都变便宜"的原因:真正被砍掉的是那个 0.5B 级主干 LM 的自回归步数,而 DiT 是几层规模的局部模块。

代价也确实存在,而且官方在发布说明里写明了:Local 模块现在要处理更长的上下文,因此加深了网络,整体参数量从 640M 涨到 800M。这解释了一个看起来很矛盾的现象——参数量变大、单步变慢,但 RTF 从 0.17 降到约 0.15。因为 RTF 的分母是音频时长,而每个 token 现在覆盖 160ms 而非 80ms 音频。用生态里常被引用的说法就是:VoxCPM1.5 只需要 6.25 个 token 就能生成 1 秒音频。

还有一处纯粹是观感问题:那个 tqdm 进度条的计数单位是 token,所以当 token 数减半时,it/s 的读数天然会掉一半。进度条变慢不等于合成变慢——衡量吞吐要看 RTF,而不是"每秒迭代多少次"。这也是 VoxCPM1.5 发布说明专门写了一段"Generation Speed Clarification"的原因:单步成本上升与步数下降同时发生,只有折算到"每秒音频"才有可比性。

高频细节没有被丢掉:分辨率留在 Local 模块里

现在来看 6.25Hz 最容易被误解的地方——它是否意味着音色变糊。

答案藏在"谁负责哪一层"里。AudioVAE 的输出是 44.1kHz 的波形解码,频率上限由它决定;patch 只是 LM 侧的分组方式,不会削减 VAE 的帧,也不会降低解码采样率。VoxCPM1.5 的发布说明把 44.1kHz 的收益写得很直接:保留更多高频细节、带来更好的克隆质量。也就是说,更高频的信息是在 VAE 这一侧被加回来的,而 LM 这一侧反而更稀疏了。

分工是这样落地的:

  • LM(6.25Hz)决定"这段 160ms 该怎么说"——音素、重音、语速、停顿、与文本语义对齐的韵律走向;
  • LocDiT(25fps,一个 token 内 4 帧联合去噪)决定"这 160ms 的波形细节长什么样"——它同时受 LM 隐状态和上一个 patch 的声学条件约束,跨 patch 的连续性由 cond 保证;
  • AudioVAE 解码器负责把 25fps 的潜变量还原成 44.1kHz 波形。

所以"折损"只发生在时序控制的粒度上:从 80ms 一格变成 160ms 一格。对于语速、停顿这类变化以几百毫秒为尺度的韵律属性,这个粒度仍然够用;真正的损失风险在极短促的声学事件上,而这类细节本就由 Local 模块以 40ms 分辨率承担。

发布说明对此的表述是"在评测基准上保持相近表现"。需要留意的是,仓库里的 performance.md 那张 Seed-TTS-eval 表格标注的模型是 VoxCPM(0.5B),1.5 的提升主要落在 44.1kHz 克隆质量和长音频稳定性上,而不是 WER/CER 的大幅跳变。这其实印证了文章的主题:降低标记率的目标不是刷新识别指标,而是在不牺牲可懂度的前提下改善算力结构。

克隆场景还有一个实操陷阱值得写在这里。开启 prompt 降噪会走 ZipEnhancer,而它会把参考音频限制在 16kHz,克隆质量的天花板也随之被压低:

# src/voxcpm/model/voxcpm.py(core 层传入 denoise 时)
if denoise and self.denoiser is not None:
    ...
    self.denoiser.enhance(prompt_wav_path, output_path=temp_prompt_wav_path)

这与 usage_guide.md 里的建议一致:追求高保真克隆时应当关闭参考音频增强,才能用满 44.1kHz 的上限。换句话说,模型侧好不容易把高频细节加回来了,预处理环节却可能把它丢回去——这也是很多"克隆出来不像"问题的真实来源。

流式场景下低标记率的真实收益

流式是最能体现 6.25Hz 价值的地方,而且代码里能逐行看到收益与代价。

流式解码的入口在这里:

# src/voxcpm/model/voxcpm.py
patch_len = self.patch_size * self.chunk_size
for latent_pred, _ in inference_result:
    decode_audio = self.audio_vae.decode(latent_pred.to(torch.float32))
    decode_audio = decode_audio[..., -patch_len:].squeeze(1).cpu()
    yield decode_audio

patch_len = patch_size × chunk_size,在 1.5 上是 4 × 1764 = 7056 个采样点,正好 160ms。这个数字就是流式输出的最小粒度:每个 chunk 交付 160ms 音频,而 0.5B 时代是 80ms。

为什么每次解码的不是一个 patch,而是三个?因为 streaming_prefix_len 默认为 3:

# src/voxcpm/model/voxcpm.py
pred_feat_chunk = torch.cat(pred_feat_seq[-streaming_prefix_len:], dim=1)
feat_pred = rearrange(pred_feat_chunk, "b t p d -> b d (t p)", b=B, p=self.patch_size)

VAE 解码器是因果卷积结构(CausalDecoder),边界处的感受野需要左侧上下文才不会产生接缝;因此每步都把最近 3 个 patch(12 帧、480ms)拼起来解码,再只交付最后一格 160ms。这是用重叠解码换取无爆音拼接的经典做法,代价是解码算力按 3 倍冗余付出。

把这些拼起来,低标记率在流式下的收益是三项叠加:

  1. 调度次数减半。 每秒钟只有 6.25 次 LM step,而不是 12.5 次。对依赖 torch.compile 的小 batch 推理,Python 与 kernel launch 的固定成本占比不低,减半是实打实的。
  2. DiT 调用次数减半。 每一步 DiT 要跑 inference_timesteps(默认 10)次带 CFG 的估计器前向,步数减半就等于每秒少了一半的"10 次去噪循环",每步多出的那几帧宽度并不能抵消调用次数的减少。
  3. 长音频更稳。 发布说明明确写到,把 LM 处理速率从 12.5Hz 降到 6.25Hz 改善了长语音生成的稳定性。自回归的误差是逐步累积的,步数减半意味着同样的时长里误差注入点少了一半,这对动辄几分钟的有声书、播客场景比单纯的 FLOPs 更值钱。

代价则体现在两处可感知的地方:块变大意味着流式交付的抖动粒度从 80ms 变粗到 160ms,对强交互场景的"起播手感"略有影响;重叠解码的绝对开销上升,44.1kHz 下每次解码 21168 个采样点,比 16kHz 时代的 3840 个采样点大一个量级。不过这一项与标记率无关,是 44.1kHz 本身的成本。

工程落地时的几个参数边界

理解了账本,调参时就不会踩坑。

max_len 数的是 token,不是秒。 core.py 里默认 4096,在 6.25Hz 下约合 655 秒;如果按旧版本的直觉去估,会误判一半。badcase 重试的阈值 retry_badcase_ratio_threshold=6.0 同样是"音频 token / 文本 token"的比值,标记率变了,这个比值的物理含义也跟着变,对语速慢的内容需要重新校准。

inference_timesteps 的杠杆变强了。 它乘以 token 数才是 DiT 的总前向次数。步数减半之后,把它从 10 降到 8,节省的绝对时间比 12.5Hz 时代更明显,但每一步要覆盖 4 帧,过度压缩步数对块内细节的损伤也更集中。

微调的 token 预算同样被重新定义。 配置里的 max_batch_tokens 注释写的是"batch_size=4 时每个样本最多 4096 token":

# conf/voxcpm_v1.5/voxcpm_finetune_all.yaml
sample_rate: 44100
batch_size: 16
max_batch_tokens: 8192

batch_size=16 时每个样本的上限是 512 token,在 6.25Hz 下约 82 秒音频,而在 12.5Hz 下只有 41 秒。同一份配置,能容纳的训练音频长度翻倍——这对长句、整段旁白的微调数据非常实用,但如果沿用 v1 的配置直接迁移到 v1.5,过滤逻辑(compute_sample_lengths)会按新的帧率重新估算,实际被丢弃的样本数会与预期不同。

流式接口的语义要按块理解。 generate_streaming 每次 yield 的是 160ms 的 float32 波形,消费端若按 20ms 一帧去做播放缓冲,需要自己做二次切分;而 retry_badcase 在流式模式下会被强制关闭(代码里有显式告警),因为重试意味着已经交付的音频要作废。

结语:省算力的本质是"把高频计算交给便宜的模块"

回到标题的问题:为什么把发声频率降下来反而更省算力?

因为 TTS 的自回归成本几乎全部集中在主干 LM 上,而它的成本与步数成正比;音频的细节量却与帧数成正比。这两者本来被 patch_size=1 强行绑在一起,每一次 LM 前向只换回 40ms 音频,昂贵的大模型在做一件极其琐碎的事。VoxCPM1.5 用 patch=4 把这根绑带解开:让 0.5B 级的主干每 160ms 只做一次"高层决策",把 40ms 级的波形细节交给几层规模的 LocDiT 和 44.1kHz 的 AudioVAE 去补。

于是同一秒音频的账变成:LM 步数减半、KV cache 容量翻倍、注意力累计开销降到约 1/4、每步固定调度成本减半;换来的是 Local 模块承担更长的上下文、参数量上涨 160M、单步耗时上升。净结果写在 README 里——RTF 从 0.17 降到约 0.15,同时采样率从 16kHz 提到 44.1kHz。

这也是一个更普遍的设计信号:当序列建模的瓶颈从"表达能力"转向"推理经济性"时,降低主干的时间分辨率、把高频重建下沉到局部模块,往往比一味压缩模型参数更划算——前提是,你得像 VoxCPM 这样,先有一个能守住细节的 Local 路径。

登录后查看全文
VoxCPM