QwenCleo-ASR-GGUF + VoiceTut-TTS-GGUF:打造端到端埃及阿拉伯语识别+合成流水线

原创2026-11-09 21:08:131,449 阅读
文章标签:语音本地部署模型量化人工智能

QwenCleo-ASR-GGUF + VoiceTut-TTS-GGUF:打造端到端埃及阿拉伯语识别+合成流水线

QwenCleo-ASR-GGUF 是面向埃及阿拉伯语语音识别(ASR)与阿英混说(code-switching)场景的即拿即用 GGUF 模型包,搭配同系列的 VoiceTut-TTS-GGUF 语音合成模型,就能搭起一条"录音进 → 文字出 → 语音出"的端到端流水线。全程由纯 C++ 运行时 audio.cpp 驱动,无需 Python 环境,同一块 GPU 上比 PyTorch 快 3~4 倍。🚀

🎯 为什么要"识别 + 合成"组合使用?

单独看,两者各司其职:

  • 识别(ASR):把埃及阿拉伯语语音转写成文字,并自动处理阿拉伯语与英语混说的句子,例如 فبتديك كل ال soft skills بشكل indirect 这类真实口语。
  • 合成(TTS):VoiceTut-TTS-GGUF 是同作者的配套 TTS 模型包,同样以 GGUF 单文件交付、跑在 audio.cpp 上,负责把文字再"读"回语音。

两者串联后,典型玩法有 4 个:

场景 流水线用法
字幕与转写 录音 → ASR 出文字 → 校对 → TTS 重新配音
语言学习 听一段口语 → 转写对照 → 用 TTS 跟读标准读音
无障碍与听障辅助 会议录音 → 文字纪要 → 语音播报
内容重制 旧音频 → 转文字改写 → 合成新配音

因为是同一生态(GGUF 量化 + audio.cpp 运行时),两边的部署方式、文件管理方式完全一致,串起来几乎零成本。

📦 模型文件与量化选择

本仓库提供两个独立可用的 GGUF 文件,每个文件都已内嵌 tokenizer、处理器、配置文件和 audio.cpp 模型描述——一个文件就是一套完整部署:

文件 量化 大小 显存占用 适合谁
qwencleo-asr-q8_0.gguf Q8_0 2.31 GiB 约 3.4 GB ⭐ 官方推荐,速度最快
qwencleo-asr-f16.gguf F16 3.81 GiB 约 5.0 GB 追求极致精度、显存充足

新手建议:显存 6 GB 起步的笔记本显卡直接选 Q8_0——精度损失极小,速度却是最快的。

⚡ 快多少?准多少?

作者在 3699 条埃及阿拉伯语测试集上给出了两组关键数据:

1. 精度:QwenCleo-ASR 微调版 WER(词错误率)为 19.85%,而基座 Qwen3-ASR-1.7B 为 41.51%——错误率几乎腰斩,微调价值一目了然。

2. 速度(GTX 1660 Ti Laptop 6GB,16 段共 75 秒音频):

运行时 精度 RTF(越低越快) 单片段平均延迟 相对加速
PyTorch(bf16) 全精度 0.557 2.62 s 1.0×
audio.cpp F16 GGUF 0.301 1.42 s 1.8×
audio.cpp Q8_0 GGUF 0.177 0.84 s 3.1×
audio.cpp(16xx 卡专用编译) Q8_0 GGUF 0.143 0.68 s 3.9×

冷启动差距更夸张:audio.cpp 约 40 秒就绪,PyTorch 需要 12~18 分钟。同时 Q8_0 的转写精度与 PyTorch bf16 基本持平(16 段样本 WER 10.2% vs 8.8%,差异在噪声范围内),16 段中有 10 段与 PyTorch 输出逐字一致。

🚀 三步搭起端到端流水线

第 1 步:拿到模型文件

git clone https://gitcode.com/hf_mirrors/mohammedaly22/QwenCleo-ASR-GGUF

或直接下载 qwencleo-asr-q8_0.gguf 单文件,放入 models/ 目录。

第 2 步:跑语音识别(ASR)

先用 audio.cpp 的模型管理器安装,再执行识别。新手记住两个关键点即可:任务类型是 asr、模型族是 qwen3_asr,并且务必手动指定 --language Arabic(量化包的语言自动检测不太可靠):

audiocpp_cli --task asr --family qwen3_asr --model models/QwenCleo-ASR-GGUF \
  --backend cuda --audio speech.wav --language Arabic --text-out transcript.txt

任意采样率的音频都能处理(内部自动重采样),长录音会自动分块。想实时转写就加 --mode streaming --request-option audio_chunk_seconds=5。也可以起一个 OpenAI 兼容的 audiocpp_server,任何支持 OpenAI 接口的前端都能直接接入。

第 3 步:文字交给合成(TTS)

把 transcript.txt 里校对后的文字交给同生态的 VoiceTut-TTS-GGUF(部署方式与 ASR 完全一致:同样是 GGUF 单文件 + audio.cpp),即可生成最终语音文件。至此,"识别 → 编辑 → 合成"的闭环完成。🎧

⚠️ 已知限制与注意事项

  • 方言适配:模型专为埃及阿拉伯语及阿英混说调优,其他阿拉伯语方言、远距离嘈杂音频效果会下降。
  • 数字输出习惯:数字通常输出为数字形式(如 3:30、20),与训练语料一致,校对时留意。
  • 手动指定语言:量化包建议始终显式传 --language Arabic,不要依赖自动检测。

📁 相关文件资料

💡 小结:如果你需要低显存、无 Python、3 倍以上速度的埃及阿拉伯语语音识别 + 合成方案,QwenCleo-ASR-GGUF 配 VoiceTut-TTS-GGUF 是目前非常省心的组合——克隆仓库、丢进 audio.cpp,三步上线。

登录后查看全文
QwenCleo-ASR-GGUF