用ffmpeg+curl推送实时音频:VibeVoice-ASR-Streaming-1.5B-GGUF的live流式转写接口深度实战
用ffmpeg+curl推送实时音频:VibeVoice-ASR-Streaming-1.5B-GGUF的live流式转写接口深度实战
VibeVoice-ASR-Streaming-1.5B-GGUF 是面向 audio.cpp 的实时语音转写(流式 ASR)模型仓库,内含微软 1.5B 流式语音识别模型的 GGUF 原生构建。本文带你用 ffmpeg + curl 两个命令行工具,把实时音频推送到服务器 live 接口完成流式转写——无需编写任何客户端代码。
📦 项目是什么:三个量化包任选
该仓库为上游 microsoft/VibeVoice-ASR-Streaming-1.5B(MIT 许可)转换出的 audio.cpp 原生 GGUF 包。1.5B 检查点与 7B 走同一套 audio.cpp 加载器,层数、隐层维度等参数直接从 checkpoint 自带的 config.json 读取,无需改任何代码。
每个 GGUF 文件都是自包含的,内嵌 audio.cpp 包规格和必需的 sidecar 文件。仓库内提供三个精度档位:
| 模型文件 | 格式 | 大小 | 定位 |
|---|---|---|---|
| vibevoice-asr-streaming-1.5b-bf16.gguf | BF16 | 5.64 GB | 最高精度包 |
| vibevoice-asr-streaming-1.5b-q8_0.gguf | Q8_0 | 3.34 GB | ✅ 官方推荐包 |
| vibevoice-asr-streaming-1.5b-q4_k.gguf | Q4_K | 2.12 GB | 更小体积低比特包 |
🔄 live 流式接口的工作原理
理解原理后,后面的命令就不会只知其然:
- audio.cpp 加载 GGUF 模型并启动 HTTP 服务(默认
127.0.0.1:8080); - 模型以
"mode": "streaming"注册,进入流式解码状态; - 客户端用
ffmpeg把任意格式音频实时转换为 16 kHz、单声道、s16le 的原始 PCM; - PCM 通过管道
|交给curl,以 chunked(分块)方式 POST 到 live 端点; - 服务端边收边解码,实时产出转写文本。
整个数据流一句话概括:
input.wav → ffmpeg(16kHz/单声道/s16le) → 管道 → curl 分块上传 → /v1/audio/transcriptions/live → 流式转写
🚀 三步完成部署
第一步:获取模型
方式一:通过 git 获取本仓库(模型文件走 Git LFS):
git clone https://gitcode.com/hf_mirrors/christopherthompson81/VibeVoice-ASR-Streaming-1.5B-GGUF.git
方式二:在 audio.cpp 中用模型管理器直接安装推荐包:
python3 tools/model_manager_v2.py install vibevoice_asr_streaming_1_5b_q8_0
第二步:编写服务器配置 server.json
关键点是 mode 字段必须为 streaming,这是启用 live 流式接口的前提(配置示例见 README.md):
{
"host": "127.0.0.1",
"port": 8080,
"backend": "cuda",
"threads": 8,
"models": [
{
"id": "vibevoice-streaming-1.5b",
"family": "vibevoice_asr_streaming",
"path": "models/VibeVoice-ASR-Streaming-1.5B-GGUF/vibevoice-asr-streaming-1.5b-q8_0.gguf",
"task": "asr",
"mode": "streaming"
}
]
}
注意 id 就是后面 curl 请求里 model 查询参数的取值。
第三步:启动服务
build/debug/bin/audiocpp_server --config server.json --log
服务启动后,live 端点即可接收实时音频流。
🎯 核心实战:ffmpeg + curl 两件套
完整命令(取自 README.md):
ffmpeg -hide_banner -loglevel error -i input.wav -f s16le -ac 1 -ar 16000 - \
| curl -N -X POST \
-H 'Content-Type: application/octet-stream' \
-H 'Transfer-Encoding: chunked' \
-H 'Expect:' \
-T - \
'http://127.0.0.1:8080/v1/audio/transcriptions/live?model=vibevoice-streaming-1.5b&sample_rate=16000&channels=1&sample_format=s16le'
这条命令是整篇文章的灵魂,逐段拆解:
ffmpeg 端:把音频"洗干净"
| 参数 | 作用 |
|---|---|
-hide_banner -loglevel error |
隐藏横幅、只报错误,保证管道里只有纯 PCM 数据 |
-i input.wav |
输入音频(替换成你的麦克风、会议录音等任意来源) |
-f s16le |
输出有符号 16 位小端 PCM,live 接口要求的采样格式 |
-ac 1 |
单声道,与 URL 中 channels=1 对应 |
-ar 16000 |
16 kHz 采样率,与 sample_rate=16000 对应 |
- |
输出到标准输出,交给管道 |
curl 端:把 PCM"推"进接口
| 参数 | 作用 |
|---|---|
-N |
禁用缓冲,实现真正的流式传输,这是"实时"的关键 |
-X POST |
以 POST 方式上传音频流 |
Content-Type: application/octet-stream |
声明内容为原始字节流 |
Transfer-Encoding: chunked |
分块传输,边收边发、无需预知总长度 |
Expect:(空值) |
抑制 100-continue 握手,避免上传前的延迟 |
-T - |
从标准输入读取数据并上传 |
| URL 查询参数 | model 指定模型 ID;sample_rate、channels、sample_format 三个参数必须与实际音频流完全一致 |
⚠️ 核心要点:ffmpeg 的
-ar/-ac/-f与 URL 里的sample_rate/channels/sample_format是一一对应的,任何一处不一致都会导致服务端解析失败。
📊 精度与量化怎么选?
官方在 LibriSpeech 4 段测试集(69 词)上以贪心解码测得的词错误率(WER)如下(README.md):
| 包 | 大小 | WER (CUDA) | WER (CPU) |
|---|---|---|---|
vibevoice-asr-streaming-7b-q4_k.gguf |
5.86 GB | 4.35% | 4.35% |
vibevoice-asr-streaming-1.5b-bf16.gguf |
5.64 GB | 4.35% | 4.35% |
vibevoice-asr-streaming-1.5b-q8_0.gguf |
3.34 GB | 5.80% | 4.35% |
vibevoice-asr-streaming-1.5b-q4_k.gguf |
2.12 GB | 7.25% | 5.80% |
两点选包建议:
- 通用场景选 Q8_0:体积约为 BF16 的 60%,CPU 后端下 WER 与 BF16 完全持平(4.35%),是精度与体积的最佳平衡点;
- WER 需结合后端看:量化包在 CPU 和 CUDA 下对激活值的量化行为不同,所以 Q8_0 与 Q4_K 在两种后端上数值不同;BF16 不做激活量化,两端结果一致。样本量较小(69 词),数据用于区分"可用/不可用"档位,不必过度解读小数点差异。
⚠️ 常见坑与排查清单
| 现象 | 原因与解法 |
|---|---|
| 服务端拒绝解析或结果混乱 | 音频格式与 URL 参数不匹配,确认 16000 / 1 / s16le 三处一致 |
| 输出明显延迟、不"实时" | curl 忘了加 -N,或没清掉 Expect: 导致 100-continue 等待 |
| 请求 404 / 模型不存在 | server.json 中 mode 未设为 streaming,或 model 参数与 id 不一致 |
| 只需要离线转写文件 | 不必走 live 接口,直接用 CLI:audiocpp_cli --task asr --family vibevoice_asr_streaming --model <模型路径> --audio input.wav --text-out transcript.txt(见 README.md) |
总结
VibeVoice-ASR-Streaming-1.5B-GGUF 把"流式语音转写"做成了极简的工程问题:一条 server.json 起服务,一条 ffmpeg | curl 管道推音频,live 接口实时吐转写。推荐搭配 Q8_0 量化包使用,兼顾精度与体积。掌握本文的参数对应关系后,你可以轻松把它接入实时会议记录、语音助手、直播字幕等场景。