133 毫秒一帧:拆开 7.5Hz 帧流,看「边听边说」省掉了哪一段等待

原创2026-11-16 19:01:20410 阅读
文章标签:人工智能大模型基础模型语音音频多模态

133 毫秒一帧:拆开 7.5Hz 帧流,看「边听边说」省掉了哪一段等待

语音助手"反应慢半拍"这件事,很少是某个模型算得慢。真正的时间花在等待上:等你说完(端点检测)、等整句文本落地(LLM 收尾)、等合成器把第一个音块吐出来(TTS 首包)。三段串起来,即便每一段都不算慢,加总也常在数百毫秒到一秒以上。Haru-4B 的核心主张,是把这条"识别—生成—合成"的串行链换成一条 7.5Hz 的帧流:每 133 毫秒吃进一帧用户语音,同时吐出一帧文本与一帧自己的语音。本文不谈愿景,只做一件事——把这 133 毫秒拆开,用仓库里 config.json 的真实参数和官方公开的延迟表,逐段对账,看清楚它到底省掉了哪一段等待、又为此付出了什么代价。

一、先给结论:省掉的不是算力,是"结构性等待"

在仓库的模型卡里,Haru-4B 对自身的描述只有一句关键话:每 133 ms,模型取用户音频的一帧,产出自己的一帧音频与一帧文本;用户音频、模型音频、模型文本被加和进语言模型的同一个位置,因此"听"和"说"永不会互相等待(见 README.md)。

这句话里藏着三个被消掉的等待:

  1. 端点判定的等待。半双工链路的起点是"确认你说完了",这需要一段尾静音观察窗。帧流模式下,模型在你说的时候就在逐步处理,不需要一个"说完了"的显式信号来启动后续环节。
  2. 文本落地的等待。串行链路里,TTS 必须等 LLM 交出足够完整的文本才能开嗓。帧流模式里文本与语音在同一帧同步产出,文本流慢一点也不阻塞发声。
  3. 第三次前向的等待。多数语音模型需要额外的声学 Transformer 或多步扩散采样把语义变成波形。Haru 把这一步压成一个 4 层 MLP 的单步采样。

要理解这三点为什么成立,得先回答一个更基础的问题:为什么偏偏是 7.5Hz。

二、7.5Hz 不是拍脑袋:它是音频编解码器码率除出来的

翻 config.json,三个字段构成一条闭环算术:

"sample_rate": 24000,
"frame_samples": 3200,
"frame_rate": 7.5

7.5 × 3200 = 24000,说明帧率不是独立选定的超参,而是采样率除以帧长得到的导出量。再看 codec 段的降采样比例:

"ratios": [8, 5, 5, 4, 2, 2]

连乘:8 × 5 × 5 × 4 × 2 × 2 = 3200。也就是说,VibeVoice 声学 tokenizer 的总步长恰好是每 3200 个采样点输出一个 latent,而 3200 个采样点正是 frame_samples。于是:

  • 一个 latent 覆盖 3200 / 24000 ≈ 133.33 ms 的语音;
  • 每秒 7.5 个 latent,因为 3200 个原始采样被压成 64 维连续向量,压缩比约 50 倍(3200 × 16 bit = 51200 bit,对比 64 × 16 bit = 1024 bit);
  • 一分钟对话是 450 帧,一小时 27000 帧——这两个数后面算上下文时还要用到。

这个推导有一个很实际的工程后果:时钟必须按采样点推进,不能按毫秒推进。7.5Hz 的真实周期是 133.333…ms,如果实现里用 sleep(0.133) 走 1000 帧,累计误差会到 333ms,接近三帧的漂移。frame_samples: 3200 才是唯一的权威刻度,配置里同时给出两个值并不冗余,它是在提醒你别用错了那个。

至于"匹配人类对话轮次"这个说法,准确表述应该是:133ms 的粒度细于对话轮次切换的时间尺度。人类对话中应答间隔、附和(backchannel)通常发生在数百毫秒量级,133ms 的量化误差落在这个尺度以下,模型因此有机会在对方话音未落时就插入一个"嗯"。反之,如果帧率是 1–2Hz(半秒到一秒一帧),插话在物理上就被排除了——不是模型不想,是时间分辨率不够。

三、一帧里到底发生了什么:三路加和到同一个位置

Haru-4B 全双工帧流架构:每 133 ms 一帧,用户语音 latent、模型上一帧文本 token 与上一帧语音 latent 被加和后进入语言模型的同一个位置,由其输出同时预测下一帧文本 token 与下一帧语音 latent

架构图用五帧连续画面演示了模型说出 "Hi there how are you" 的过程。每一帧的结构是固定的四步:

  • 下路(用户):语音 tokenizer 把这一帧用户语音编成 latent,经 user_audio_proj.* 投影;
  • 上路(模型自身):上一帧的文本 token 经文本嵌入、上一帧的语音 latent 经 model_audio_proj.* 投影;
  • 融合:三路逐元素相加,成为一个位置上的单一输入向量,交给语言模型;
  • 输出:语言模型隐状态分两路——文本头给出下一个 token,语音头(head.*)给出下一帧 64 维 latent。

模型卡"Files"表把权重结构写得很直白:lm.* 语言模型、model_audio_proj.* / user_audio_proj.* 音频输入投影、head.* MeanFlow 头、codec.* 音频编解码器。三路加和发生在 LM 输入端,而不是在三个独立模块之间做调度。

为什么是加和而不是拼接或交错? 官方技术博客给了一个干脆的理由:相比把三路流逐 token 交错排列,加和把上下文长度压到原来的三分之一,同时保持文本流不被打断。这个"三分之一"可以量化:一小时对话 27000 帧,加和方案约 27000 个位置;若三路交错,就是约 81000 个位置。而 config.json 里 max_position_embeddings: 262144,两倍余量都在,但差别体现在每一步的 KV 读取量和注意力开销上——对每 133ms 必须交付一帧的系统,这是能不能守住节拍的差别。

还有一个容易被忽略的细节:文本与音频的时间分辨率本来就不一致。133ms 里人只说出小半个词,却要走一整帧音频。官方用 chunk 级对齐解决:文本按块推进,块后用 padding 占位,并用一个专门的 end-of-padding token 标记"该开口了"。这个 token 就躺在配置里:

"pad_token_id": 248076,
"eop_token_id": 248071

图中第一帧文本流先出现 EOP、再出现 "Hi",正是这个机制的可视化:EOP 是"填充结束、语音起始"的信号,而不是一个普通词。这样文本侧不必被迫以 7.5Hz 的频率产出 token,预训练语言模型的知识也不会因为强行对齐音频节奏而被破坏。

四、把账面摊开:串行三段 vs 帧流一帧

先看串行链路。下面这张表是工程上常见的区间,不是 Haru 的实测值,列出它只为说明"等待"发生在哪几处:

环节 典型耗时 性质
端点判定(尾静音观察窗) 200–500 ms 纯等待,与算力无关
ASR 终稿(流式也需 finalize) 50–150 ms 一次性,等整句
LLM 首 token(含 prefill) 100–400 ms 随上下文增长
TTS 首块(非流式则更久) 80–300 ms 等文本足够完整
合计(用户停止说话 → 听到声音) 约 430–1350 ms 三段串行,误差累加

现在看 Haru 官方给出的实测拆解(Apple M1 Max,原生 Swift 应用 + 定制 Metal kernel,int8 权重,端到端 p50):

阶段 延迟
输入(麦克风 → 应用) 5.3 ± 0.0 ms
一次模型 step 34.2 ± 0.5 ms
socket 与交接 4.1 ± 0.3 ms
输出等待(15 ms 余量) 13.3 ± 1.5 ms
输出(应用 → 耳机) 8.1 ± 0.2 ms
合计 65.2 ± 1.5 ms

这张表最重要的是它的脚注:65ms 不含音频分帧。7.5Hz 的分帧会再引入最多 133ms 的算法延迟。所以从"用户停止说话"到"听到回应"的真实区间是 65.2 ms 加上 0–133 ms 的帧边界余量,均匀分布下中位数约 130ms 量级。

对比的要点不是"65 比 700 快十倍",而是这 65ms 里已经包含了原本串行的全部三段工作:声学编码、语言模型推理、音频解码。串行链路里它们必须排队,帧流里它们被压进同一个 step。省掉的正是"排队"本身。

两个派生的算术值得记下来:

  • 时间预算占用率:34.2 / 133.33 ≈ 25.7%。M1 Max 上每一步只用掉四分之一帧的时间,剩下约 99ms 是空闲的;在 NVIDIA B300 上,官方给出的"编码 + 解码 + 一次 LM step"合计约 15ms,占用率降到 11.3%。
  • 并发上限的一阶估计:133.33 / 15 ≈ 8.8。这意味着在 B300 上做帧同步批处理时,理论上有接近 9 路会话可以共享同一份权重读取而不突破单帧预算。这个数字是粗算,不含批处理开销与显存带宽争用,但它解释了为什么 vLLM-Omni 这条服务化路径对 Haru 是刚需而不是补充——帧流的低占用率天生适合批。

再做一个带宽视角的粗算,能解释为什么官方在 Mac 上用 int8:权重文件 model.safetensors 的 LFS 指针记录大小为 10540113510 字节,bfloat16 下约合 5.27B 参数(10.54 GB);换 int8 约 5.27 GB,每帧都要完整读一遍,34.2ms 内需要约 154 GB/s 的有效带宽,摊到 7.5fps 则是约 39.5 GB/s 的持续带宽。而 5.27B 参数每帧的计算量约 10.5 GFLOP,折算仅约 308 GFLOPS——算力远未吃满,瓶颈在把权重搬进计算单元。这就是"低延迟语音模型"的真实形状:它是一场访存效率的仗,不是一场 FLOPS 的仗。

五、单步音频头:省掉的第三次前向

串行链路里最隐蔽的一段延迟来自声学侧。如果把音频离散成音频 token 再用语言模型逐 token 解码,或者用扩散模型多步采样,每帧都要付出额外的串行步数。Haru 的 head 段把这条路堵死了:

"head": {
  "hidden_size": 2560,
  "latent_dim": 64,
  "num_layers": 4,
  "num_steps": 1,
  "guidance_scale": 1.5,
  "guidance_range": [1.0, 2.0]
}

四个数字对应四件事:语音只是一帧 64 维连续 latent,不是若干码本的离散索引;生成头只是一个 4 层 MLP,没有独立的声学 Transformer;只采样 1 步,不做迭代式 flow sampling;guidance scale 默认 1.5,可在 1.0–2.0 之间调。官方博客补充了训练路径:主要用 Flow Matching 训练该头,再做 MeanFlow 蒸馏,把多步采样压成一步——蒸馏换来的正是推理时的那几十毫秒。

这里有一个容易被误读的点:7.5Hz 的收益是双份的。它既降低了每秒的自回归步数(每秒 7.5 步音频建模,而不是几十步),也降低了每步的音频解码成本(一次 MLP 前向,而不是一次 Transformer 前向或多步去噪)。前者省的是"序列长度",后者省的是"每步深度",两者相乘才是 133ms 预算内能留出 3/4 空闲的原因。

六、长对话不塌:为什么骨干要是混合线性注意力

帧流模型有一个容易被忽视的工程难题:上下文是被动增长的。用户不说话,帧也照样流动,位置一个一个往后走。一小时 27000 帧,两小时 54000 帧,注意力开销如果随时长线性上涨,"边听边说"就会在你聊到第二十分钟时悄悄变成"边听边卡"。

config.json 里的解法是混合注意力。layer_types 明确列出 32 层的排布:每 4 层为一组,3 层 linear_attention + 1 层 full_attention,全模型 24 层线性、8 层全注意力。配套参数也很清楚:

"num_hidden_layers": 32,
"hidden_size": 2560,
"num_attention_heads": 16,
"num_key_value_heads": 4,
"head_dim": 256,
"full_attention_interval": 4,
"attn_output_gate": true,
"partial_rotary_factor": 0.25,
"max_position_embeddings": 262144

num_key_value_heads: 4 对 num_attention_heads: 16 是 4:1 的 GQA,直接压缩 KV cache;partial_rotary_factor: 0.25 意味着只对四分之一的头维度施加旋转位置编码;attn_output_gate: true 给注意力输出加了门控。这三项合起来指向同一个目标:让那 8 层必须做全注意力的层尽量便宜,让另外 24 层用线性复杂度扛住长上下文。训练侧的证据也对得上——官方说明全双工训练样本最长到 60 分钟,恰好是 27000 帧,模型是被逼着学会在长程帧流里保持节奏的,而不是只在几十秒的短片段上表现良好。

七、落地时的边界:这套架构换来什么,又必须接受什么

把 7.5Hz 当卖点很容易,把边界讲清楚才有用。仓库和官方材料里可以核对到的事实至少有这些:

换来的:

  • 打断是结构性的,不是策略性的。 用户音频与模型音频共享同一个因果流、同一个位置,插话不需要额外的 barge-in 检测模块去"抢麦克风",因为它本来就在听。
  • 响应不需要"重新理解"。 你说了一秒,模型已经走过 7.5 帧;等你停下,声学编码与理解早就完成,剩下的只是一次 step 的 34.2ms。
  • 部署门槛低。 bfloat16 权重约 10.54 GB,README.md 给出的硬件要求是约 12GB 显存的 NVIDIA GPU,启动方式就是三行:
git clone https://github.com/higurashi-ai/Haru && cd Haru
pip install -e ./haru
python -m haru.server --hf-repo higurashi-ai/Haru-4B

另外还有面向 Apple Silicon 的 MLX 实现(原生 macOS 应用,无 CUDA)与 vLLM-Omni 服务化插件两条路径。

  • 训练规模是可查的。 4000 万小时以上真实语音预训练,其中超过 1300 万小时是分离出的全双工对话数据;160 多种语言覆盖,主攻 9 种(含中文);预训练用了 256 张 NVIDIA B200 约 8 天,折合约 4.9 万 GPU 小时。官方明确表示训练混合中排除了 LLM 生成对话与 TTS 合成语音——这句话的分量在于:附和、抢话、重叠这些行为只能从真实录音里学,合成数据学不出来。

必须接受的:

  • 133ms 是硬地板。 分帧带来的算法延迟无法通过更快的硬件消除,只能通过更低的帧率换取,而更低的帧率会牺牲插话的时间分辨率。这是一条无法同时优化的曲线。
  • 任何额外 100ms 都会吃掉收益。 模型卡直接写明:推荐有线耳机与有线麦克风,蓝牙设备会引入 100ms 以上延迟——相当于把一帧的预算直接翻倍。工程上,音频链路的选择和模型选型同等重要。
  • 它是基座,不是助手。 README 的 Limitations 写得很克制:能维持自然对话,但不是可靠的事实来源,指令跟随也不如通用助手。角色卡定义人格、3 秒到 3 分钟参考音频定义音色,这两件事它做得不错;指望它做知识问答是错配。
  • 音色克隆有版权边界。 仓库不附带任何语音片段,官方要求只使用你有权使用的声音。这不是免责声明式的客套,而是这类能力的实际使用前提。

八、结语:帧流省的是"结构性等待",代价是"结构性约束"

回到标题里的问题:这 133 毫秒一帧的流,到底省掉了哪一段等待?

它省掉的不是某一台机器的算力,而是三个原本必须串行发生的"确认":确认你说完了、确认文本够了、确认声学模型算完了。把这三件事从"每轮一次"变成"每帧一次",等待就从以轮次为单位降级为以帧为单位,而且这 133ms 的量化误差在用户开口的过程中已经被逐步摊销掉了。

代价同样清晰,而且是结构性的:133ms 的时间分辨率不可压缩,蓝牙的 100ms 会直接把它抹平,4B 基座的知识与指令能力有限,长上下文必须靠 24 层线性注意力硬扛。Haru-4B 的价值不在于它证明了"边听边说"可行——Moshi 一类工作早就演示过——而在于它把这条路线的每一处代价都摆在了明面上:ratios 里那个 3200、head 里那个 num_steps: 1、layer_types 里那 24 个 linear_attention,以及官方延迟表脚注里那句"不含音频分帧"。想复用这套设计的人,需要连同这些约束一起接受,而不只是拿走那个 7.5Hz 的数字。

登录后查看全文
Haru-4B