Haru-4B路线图与社区生态:从PyTorch到vLLM-Omni,全双工语音对话的下一步在哪
Haru-4B路线图与社区生态:从PyTorch到vLLM-Omni,全双工语音对话的下一步在哪
Haru-4B 是一个开源、低延迟、多语言的全双工语音对话基础模型,能像人打电话一样边听边说,以 Apache-2.0 许可发布供研究使用。本文带你快速了解 PyTorch、MLX 与 vLLM-Omni 三条社区生态实现路线,并展望全双工语音对话的下一步演进方向。
📌 一分钟看懂 Haru-4B:7.5Hz 全双工语音对话
与传统"先听、再想、后说"的回合制语音助手不同,Haru-4B 实现了真正的**全双工(full-duplex)**交互:每 133 毫秒,它接收一帧你的语音,同时产出一帧自己的语音和文本。倾听与发言互不等待,就像真实的电话通话,支持自然插话与被打断。
几个核心参数帮你快速建立直观认知:
| 关键参数 | 数值 | 说明 |
|---|---|---|
| 帧率 | 7.5 Hz | 每 133 ms 处理一"帧" |
| 音频表示 | 64 维连续 latent | 无离散语音 token、无独立语音 transformer |
| 语音生成 | 单步采样 | 4 层 MLP 头 + MeanFlow,一步出音频 |
| 文本主干 | Qwen3.5-4B,32 层 | 上下文最长 262,144 token |
| 多语言 | 9 种语言 | 中、英、日、法、西、德、葡、俄、韩 |
模型权重保存在 model.safetensors(bfloat16),内部结构分为 lm.* 语言模型、音频输入投影、head.* MeanFlow 头与 codec.* 音频编解码器四部分,对应配置见 config.json。
🛠️ 社区生态:PyTorch、MLX、vLLM-Omni 三条实现路线
据 README.md 介绍,围绕 Haru-4B 的代码生态目前覆盖三条主路线:
- PyTorch 实现:官方参考实现,自带 Web 演示,适合 NVIDIA GPU 用户
- MLX 实现:配套原生 macOS 应用,面向 Apple Silicon 设备
- vLLM-Omni 插件:面向规模化服务部署
快速上手步骤:三条命令启动 Web 演示
需要一块 NVIDIA GPU(约 12 GB 显存),克隆仓库后按顺序执行:
git clone https://gitcode.com/hf_mirrors/higurashi-ai/Haru-4B && cd Haru-4B
pip install -e ./haru
python -m haru.server --hf-repo higurashi-ai/Haru-4B
随后打开 http://localhost:8998,选择一个角色卡片(text card)、上传一段参考音频作为音色,就可以开始对话了。
💡 小建议:想要接近真实对话的延迟体验,请使用有线耳机 + 有线麦克风。蓝牙设备会额外引入 100 ms 以上的延迟,直接影响全双工效果。
⚠️ 注意:Haru-4B 不附带任何音色片段。上传的参考音频需满足:单说话人、3 秒至 3 分钟、干净无噪,且你只应使用有授权的声音。
vLLM-Omni 路线:面向生产环境的部署配置方法
对于希望规模化部署的用户,官方提供 vLLM-Omni 插件,可将 Haru-4B 接入 vLLM 服务体系,复用其成熟的调度与部署能力,便于把实时对话模型嵌入产品级服务中。这是全双工语音对话从"能跑起来"走向"能上线"的关键一步。
PyTorch 开发者 API:一个循环进入双工会话
核心 API 非常简洁——加载模型、准备音色、进入双工会话循环:
from haru import DuplexSession, HaruModel
from haru.audio import load_audio, prepare_reference
model = HaruModel.from_pretrained("higurashi-ai/Haru-4B")
voice = prepare_reference(load_audio("voice.wav"))
session = DuplexSession(model, system_prompt=card, reference=voice)
frame = session.start() # 模型的前 133 ms:frame.audio / frame.text
while not frame.done:
frame = session.step(user_audio) # 24 kHz,每帧 3200 个采样点进出
🔍 架构参数解读:低延迟从何而来
在 config.json 中,几处设计直接决定了 Haru-4B 的低延迟特性:
frame_rate: 7.5/frame_samples: 3200:24 kHz 采样率下,3200 个采样点恰好是 133 ms,听与说的粒度完全一致;head.num_steps: 1:音频头只做一次采样步,语音生成耗时被压缩到极致;head.guidance_scale: 1.5(范围 1.0–2.0):在音色自然度与稳定性之间取平衡;- 混合注意力:32 层中每 4 层循环为"3 层线性注意力 + 1 层全注意力",兼顾长上下文与推理速度;
- 文本分词:tokenizer.json 基于 Qwen2Tokenizer,tokenizer_config.json 中
model_max_length为 262144,足以承载很长的对话历史。
其核心思路:把"用户语音 + 模型上一帧文本 + 模型上一帧语音"三者相加到语言模型的同一个位置,一次前向同时预测下一个文本 token 和下一个语音 latent——这就是"边听边说"的底层基础。
🧭 路线图展望:全双工语音对话的下一步
Haru-4B 目前是面向研究发布的预训练基础模型。README 坦诚指出其局限:能维持自然对话,但不是可靠的事实来源,指令遵循能力也不如助手模型。由此可以推演出几条合理的演进路线:
- 从基础模型走向助手级:通过后续对齐训练,提升事实性与指令遵循能力;
- 音色克隆的合规与控制:模型能模仿参考音频的音色,官方强调"只使用有授权的声音",预计后续会配套更完善的授权与溯源机制;
- 推理进一步加速:线性注意力 + 64 维低速率 latent 已为实时而生,下一步是更低端硬件、更低延迟;
- 角色与多语言精细化:角色卡片(text card)体系为更丰富的角色设定与更多语种留出了空间。
📦 仓库文件清单
| 文件 | 内容 |
|---|---|
| model.safetensors | 全部模型权重(bfloat16) |
| config.json | 模型配置 |
| tokenizer.json | 文本分词器 |
| tokenizer_config.json | 分词器配置 |
| assets/architecture.svg | 架构图(SVG) |
| README.md | 项目说明文档 |
总结
Haru-4B 证明了"边听边说"的全双工语音对话可以在 4B 量级的轻量模型中实现,而其 PyTorch / MLX / vLLM-Omni 生态为社区提供了清晰的落地路径:新手可以三条命令跑起 Web 演示,开发者能用一个循环接入双工会话,运维工程师则可借助 vLLM-Omni 插件走向生产部署。全双工语音对话的下一站,正是从"研究基础模型"迈向"可信赖的智能助手"。