深度解析Haru-4B架构:7.5Hz帧流如何让语音模型真正做到边听边说?
深度解析Haru-4B架构:7.5Hz帧流如何让语音模型真正做到边听边说?
Haru-4B 是一个低延迟、多语言的全双工连续语音对话基础模型——它能像打电话一样,真正做到"边听边说"。核心机制是 7.5Hz 帧流:每 133 毫秒,模型接收一帧用户语音,同时产出一帧自己的语音和文本,两者永不同步等待。本文带你拆解它的全双工语音架构、连续音频生成与快速部署方法。
为什么需要 7.5Hz 帧流?打破"你一句我一句"的传统交互
传统语音助手(语音识别 → 文本大模型 → 语音合成)是半双工的:必须等你说完,它才能开始回应。这带来两个痛点:
- 延迟高:整条链路串起来,响应动辄数秒;
- 无法打断:你插不上话,"边听边说"根本不可能。
Haru-4B 的解法是把对话切成时间片——以 7.5Hz 的帧率(每帧 133ms,24kHz 采样下对应 3200 个采样点)持续流动。每个时间片里,模型同时做三件事:
- 听:把这一帧用户语音编码成语音 latent;
- 说:生成自己这一帧的语音 latent;
- 想:产出一帧对应的文本 token。
用户音频、模型音频、模型文本会被加和到语言模型的同一个位置,于是"听"和"说"共享同一条因果流,天然可以互相打断,这就是全双工(full-duplex)的关键。
一帧 133 毫秒里发生了什么
官方架构图直观地展示了这个帧流过程:底部是用户输入的语音帧,顶部是模型输出的文本帧和语音帧,中间的语言模型在每一帧中把三路信号融合后并行预测下一个文本 token 和下一个语音 latent,输出再回流为下一帧的输入。
从图中可以看到,五帧连续数据就像一条流水生产线——上一帧输出的 "Hi" 和对应语音,立刻成为下一帧的上下文,模型说 "Hi there, how are you" 的同时,也在持续"听"用户这一帧的输入。这正是它能在模型说话时即时响应用户插话的原因。
连续音频路线:64 维 latent 与单步 MeanFlow 采样
很多语音模型把音频离散成成百上千个 audio token,再像生成文字一样逐 token 生成——解码慢、且容易引入韵律断裂。Haru-4B 走了另一条路:
- 音频是一帧 64 维的连续 latent,来自 VibeVoice 声学 tokenizer(因果、24kHz,每帧 latent 对应 3200 个采样点);
- 音频头只是一个 4 层 MLP,采用 MeanFlow 采样,1 步即可从语言模型隐状态生成整帧音频,guidance scale 默认为 1.5;
- 没有独立的音频 transformer,也没有离散音频 token。
这套"轻量音频头 + 单步采样"的设计把每帧音频的解码开销压到极低,是实现 133ms 级低延迟的另一个支柱。相关配置都可以在 config.json 的 codec 与 head 字段中查到:latent_dim: 64、num_steps: 1、guidance_scale: 1.5。
语言模型骨干:Qwen3.5-4B 与混合注意力
从 config.json 可以看到,Haru-4B 的语言模型骨干是 Qwen3.5-4B 文本主干:
| 部分 | 参数 |
|---|---|
| 层数 | 32 层,隐藏维度 2560 |
| 注意力 | 32 层中每 4 层一组混合 full attention 与 linear attention |
| 上下文 | 最大 262,144 tokens(tokenizer.json 对应 Qwen2Tokenizer) |
| 音频 codec | VibeVoice,64 维 latent,下采样率 8×5×5×4×2×2 |
| 帧率 | 7.5 Hz,每帧 3200 采样点 |
其中 linear attention 层(32 层中占 24 层)对长对话很关键:持续的帧流式输入意味着上下文不断变长,线性注意力能以更低的计算成本维持长会话,避免延迟随对话时长恶化。
角色卡与音色克隆:让语音对话有"人设"
Haru-4B 把"说什么"和"用什么声音说"解耦成两个独立控制项:
- 角色卡(character card):作为 system prompt 的固定格式文本,定义模型的性格、说话风格;
- 参考音频(reference clip):上传 3 秒到 3 分钟的单人干净语音片段,模型即可克隆该音色。
仓库不附带任何语音片段,由你自己提供——官方也特别提醒:仅使用你拥有授权的声音。这种"自带音色"的设计让同一个 4B 底座能化身不同角色。
如何快速部署 Haru-4B
部署门槛不高,一张约 12GB 显存的 NVIDIA GPU 即可运行。仓库内含完整权重(bfloat16)的 model.safetensors,其中 lm.* 为语言模型、model_audio_proj.* / user_audio_proj.* 为音频输入投影、head.* 为 MeanFlow 头、codec.* 为音频 codec。
官方提供了三种使用方式(详见 README.md):
- PyTorch 版:带 Web Demo,启动后在浏览器里选角色、配音色、直接开聊;
- MLX 版:原生 macOS 应用;
- vLLM-Omni 插件:用于服务化部署。
使用提示 💡:官方推荐有线耳机 + 有线麦克风——蓝牙设备会额外引入 100ms 以上延迟,削弱 7.5Hz 帧流带来的低延迟优势。
使用限制:它是一个基础模型
需要明确几点:
- Haru-4B 是预训练基础模型(research 用途),能维持自然对话,但不是可靠的事实来源,指令跟随能力也不如通用助手;
- 它能模仿参考片段音色,请务必只用有授权的语音;
- 权重以 Apache License 2.0 发布,支持 9 种语言:英语、西班牙语、葡萄牙语、德语、法语、中文、日语、俄语、韩语。
结语:帧流是全双工语音模型的通用范式吗?
Haru-4B 用三件巧思把"边听边说"做到了工程级落地:7.5Hz 帧流把全双工变成时间片上的并行任务;64 维连续 latent + 单步 MeanFlow 把音频解码压到最轻;三流加和进同一位置让听与说共享因果上下文、随时可打断。对于关注低延迟语音对话、全双工交互的研究者,这套架构值得仔细拆解——而它的完整配置细节,就安静地躺在 config.json 里。