初识Haru-4B:会边听边说的多语言实时语音对话模型,一文看懂全双工语音新范式
初识Haru-4B:会边听边说的多语言实时语音对话模型,一文看懂全双工语音新范式
Haru-4B 是一款开源的全双工实时语音对话模型:它像打电话时的人类一样,能同时边听你说、边开口回应,而不是"你问完它才想"。这款 4B 参数量的多语言语音模型支持中文、英语、日语、韩语等 9 种语言,用约 12 GB 显存就能在本地跑起来,是当前语音交互领域"全双工"新范式的一个完整落地。
什么是"全双工"语音对话?和普通语音助手有何不同 🎧
传统语音助手的工作方式是半双工:你按下按钮说一句话 → 等待转写 → 等待模型回复 → 等待合成朗读,整个过程中双方轮流"抢话筒",且每一步都要等上一步完成,延迟和"机感"都来自这里。
**全双工(Full-Duplex)**则是电话级的交互体验:
- 模型一边听你说话,一边自己说话,两边永不同步、互不等待;
- 它可以自然打断你,你也可以随时打断它;
- 沉默、语气、停顿都能被感知,对话节奏接近真人。
Haru-4B 把这个能力做成了原生架构:以 7.5 Hz 的帧率(即每 133 毫秒一个帧)运转,每一帧同时做三件事——吃进你一帧的语音、吐出一帧自己的语音、吐出一帧自己的文字。听和说在同一个模型里"并行"发生,这就是标题里说的"新范式"。
💡 一句话理解:普通语音助手是"对讲机",Haru-4B 是"电话"。
核心技术亮点:3 个设计让实时对话成为可能 ⚡
1. 听、说、文本三流合一,永不互相等待
在 Haru-4B 中,你的语音潜变量、模型上一帧的语音潜变量、模型上一帧的文字 token 会被加和成语言模型的同一个位置输入。输出端则一个分支预测下一帧文字、另一个分支预测下一帧语音。这意味着"倾听"和"表达"不是两个模块轮流工作,而是同一个模型在同一时刻同时在做两件事。
2. 连续音频 + 单步采样:没有离散语音 token
很多语音模型要把声音切成离散的"语音 token"再像写字一样逐个生成,Haru-4B 选择了更轻的路径:
- 每帧音频就是一个 64 维的连续潜变量(latent);
- 一个仅 4 层的 MLP 头用 MeanFlow 采样,1 步采样直接生成;
- 没有独立的音频 Transformer,也没有逐 token 生成的额外延迟。
这正是它能做到低延迟的关键之一。
3. 角色卡 + 参考音频:性格和声音都归你管 🎭
Haru-4B 采用"自带音色"(Bring your own voice)设计:
- 角色(Character):用一张固定格式的文本角色卡设定模型的性格、说话风格;
- 音色(Voice):上传一段单人、干净的参考音频(3 秒到 3 分钟),模型就用这个声音说话。
⚠️ 官方特别提醒:模型能模仿参考音频里的声音,请只使用你有权使用的音色。
支持哪些语言?一张清单说清楚 🌏
Haru-4B 的元数据(README.md)中声明了 9 种语言:
| 语言 | 语言 | 语言 |
|---|---|---|
| 中文 (zh) | 英语 (en) | 日语 (ja) |
| 韩语 (ko) | 法语 (fr) | 德语 (de) |
| 西班牙语 (es) | 葡萄牙语 (pt) | 俄语 (ru) |
对中文用户来说,可以直接用自己的母语和它实时语音聊天,也可以用它做多语言的语音原型验证。
快速上手:本地运行 Haru-4B 的最短路径 🚀
硬件要求:一块 NVIDIA GPU,约 12 GB 显存即可。
操作步骤:
- 克隆代码仓库并安装:
git clone https://gitcode.com/hf_mirrors/higurashi-ai/Haru-4B && cd Haru
pip install -e ./haru
- 启动服务(会自动拉取本仓库的模型权重
higurashi-ai/Haru-4B):
python -m haru.server --hf-repo higurashi-ai/Haru-4B
- 打开浏览器访问
http://localhost:8998,选择一个角色、给模型一段音色音频,就可以直接开口聊了。
降低延迟的小技巧:官方推荐使用有线耳机 + 有线麦克风。蓝牙设备会额外引入 100 ms 以上的延迟,会明显削弱全双工体验。
想深入集成?代码仓库提供了 PyTorch 版(含 Web Demo)、MLX 版(macOS 原生应用)以及 vLLM-Omni 推理插件三种形态,
DuplexSession接口每帧输入 24 kHz 下 3200 个采样点、输出 3200 个采样点,方便接入自研应用。
仓库文件速览:每个文件都是干什么的 📦
本仓库是 Haru-4B 的预训练基座模型(研究用途发布),文件结构非常简洁:
| 文件 | 内容说明 |
|---|---|
| model.safetensors | 全部权重(bfloat16):语言模型 lm.*、音频输入投影 model_audio_proj.* / user_audio_proj.*、MeanFlow 输出头 head.*、音频编解码器 codec.* |
| config.json | 模型配置:帧率、采样率、潜变量维度、语言模型与音频头参数等 |
| tokenizer.json | 文本分词器 |
| tokenizer_config.json | 分词器配置(Qwen2Tokenizer,最大上下文 262144) |
| README.md | 使用说明、架构与限制说明 |
几个值得注意的配置细节(来自 config.json):
sample_rate: 24000、frame_samples: 3200、frame_rate: 7.5—— 24 kHz 采样率下每帧 133 ms;latent_dim: 64—— 每帧语音用 64 维潜变量表示;num_steps: 1—— 音频头仅 1 步采样,guidance_scale默认 1.5(可调范围 1~2);- 语言模型为 Qwen3.5-4B 文本底座:32 层、隐藏维度 2560,支持 256K 上下文。
架构一览:四个组件如何分工 🏗️
| 部件 | 选型 | 说明 |
|---|---|---|
| 语言模型 | Qwen3.5-4B | 32 层、hidden size 2560 的文本底座,同时负责"理解"和"开口" |
| 音频编解码器 | VibeVoice | 因果式(causal)声学 tokenizer,24 kHz,每潜变量 3200 采样 |
| 音频输出头 | 4 层 MLP + MeanFlow | 1 步采样,guidance scale 1~2(默认 1.5) |
| 帧率 | 7.5 Hz | 每 133 ms 完成一次"听+说" |
流程可以概括为:你的语音 → 音频 tokenizer 变成潜变量 → 与模型上一帧的文字 token、语音潜变量加和后送入语言模型 → 输出同时预测下一帧的文字 token 和语音潜变量 → 语音潜变量经音频 tokenizer 还原为可播放的 24 kHz 音频。下一帧循环往复,对话就"流"起来了。
使用限制:这些预期要摆正 ⚠️
官方在 README.md 中明确给出了几条 Limitations,新手使用前务必知晓:
- 它是预训练基座模型,为研究而发布:能维持自然对话,但不是可靠的事实来源,也不像助手模型那样严格遵循指令;
- 音色模仿能力是双刃剑:能模仿参考音频的声音,请只使用你有权使用的音色;
- 想要更好的指令遵循和角色扮演效果,通常还需要在此基础上做进一步调优。
常见问题 FAQ
Q1:Haru-4B 需要多少显存? 约 12 GB 显存的 NVIDIA GPU 即可运行官方 Web Demo。
Q2:它为什么能"边听边说"? 因为它不是先听完再回答,而是以 7.5 Hz 的帧率持续并行处理:每一帧同时摄入你的语音、产出自己的语音和文字,听和说在架构层面从不互相等待。
Q3:模型自带的声音可以随便换吗? 可以。Haru 不捆绑任何音色,你上传一段 3 秒~3 分钟的单人干净录音作为参考即可,但务必确保你有权使用该声音。
Q4:它和"语音识别 + 大模型 + 语音合成"的拼接方案差在哪? 拼接方案是三段串行流水线,每一段都有延迟且丢失了语音中的实时交互信息(打断、附和、停顿);Haru-4B 是单一模型端到端地同时完成"听"和"说",延迟和信息损失都更小,交互体验更接近真人通话。
写在最后
Haru-4B 代表了语音 AI 从"对讲机"走向"电话"的一步:全双工不再是概念,而是被压缩进了一个 4B 参数、12 GB 显存就能跑的模型里。如果你正在关注实时语音对话、全双工交互、多语言语音模型这些方向,它值得一试——克隆仓库、装好依赖、给模型一个声音,几分钟内你就能和"会边听边说"的 AI 聊上。🎉