QwenCleo-ASR实战:阿英混说(Code-Switching)语音识别,英文单词完美保留拉丁字母

原创2026-11-08 11:52:542,201 阅读
文章标签:人工智能语音音频微调大模型模型推理服务

QwenCleo-ASR实战:阿英混说(Code-Switching)语音识别,英文单词完美保留拉丁字母

QwenCleo-ASR 是一款专为埃及阿拉伯语与阿英混说(Code-Switching)场景打造的开源语音识别模型。它基于 Qwen3-ASR-1.7B 微调,能在阿拉伯语句子中间夹带的英文单词(如 React、download、YouTube)上完美保留拉丁字母,而不会把它们错写成乱码阿语。本文带你快速了解它为什么强、怎么用、效果到底有多好。

QwenCleo-ASR阿英混说语音识别模型横幅

🤔 什么是"阿英混说"?语音识别的痛点

想象一位埃及开发者一边说阿拉伯语,一边自然地蹦出英文术语:

"……目标就是学生已经 already 来了,你要用 Microsoft Excel 打开 soft skills……"

这种阿语、英语在一句话里自由切换的说话方式,就叫 Code-Switching(代码切换 / 阿英混说)。对语音识别(ASR)来说,它是个大难题:

  • 模型很容易把英文词"强行"音译成阿拉伯语,比如把 already 写成「أرريدي」;
  • 夹在阿语里的英文技术词、品牌词全被"搅碎",读起来驴唇不对马嘴;
  • 普通模型对埃及方言的口音也吃不透,识别准确率大打折扣。

QwenCleo-ASR 正是为了解决这个痛点而生的。

QwenCleo-ASR阿英混说语音识别模型横幅

🧠 QwenCleo-ASR 是什么?一句话讲清

QwenCleo-ASR = 强基座 + 埃及语精调。 它站在 Qwen3-ASR-1.7B(1.7B 参数)的肩膀上,用数百小时的埃及播客语音做了微调,专门啃下两块硬骨头:

  • 🇪🇬 埃及阿拉伯语方言(Egyptian Arabic)的口语表达;
  • 🔀 阿英混说场景下英文词的拉丁字母保留。

名字的来头也很有意思:Qwen(基座模型)+ Cleo(致敬埃及女王的 Cleopatra),合起来还藏着 Queen(女王) 之意——寓意它在阿英混说这个领域"称王"。模型采用 bfloat16 精度,具体架构配置可以查看 config.json。

🚀 快速上手:一条命令搞定安装

上手门槛很低,pip 装一下就能跑。

第一步,安装:

pip install qwencleo-asr

第二步,三行代码出结果:

from qwencleo_asr import QwenCleoASR

asr = QwenCleoASR()                       # 自动加载模型
print(asr.transcribe("clip.wav").text)   # 传入音频,直接出转写

仓库里还带了一段示例音频 assets/sample.wav,下载下来就能实测效果。

✨ 实战效果:真实转写示例对比

光说"好"没说服力,来看看真实测试集的转写对比(✅ 正确 / ⚠️ 小错 / ❌ 明显错)。

阿英混说场景(正确原文里带着 average 和 dollars):

模型 输出
🥇 QwenCleo …今天的 average 阿语…能拿到 23 到 28000 dollars ✅
Qwen3-ASR(基座) …今天的 أفرج 阿语…28000 دولار ⚠️
Cohere …今天的 افريقيا 阿语…28000 دولار ❌
Nemotron …今天的 أفريد 阿语…28000 دولار ❌

可以看到,QwenCleo 把 average、dollars 原样保留成拉丁字母,而其他模型要么音译成阿语、要么直接读错词。这就是它最核心的卖点。

在纯埃及阿拉伯语片段上,它的表现同样稳定,比如「今天例如我住在纳斯尔城,工作在马阿迪,所以从家到公司每天骑 20 公里」这类句子,QwenCleo 都能整句准确还原,而不少基座模型会出现个别词被改写的情况。

📊 基准测试:WER / CER 大幅领先

在 3699 条埃及阿语 + 阿英混说测试集上,QwenCleo-ASR 的错误率相比 Qwen3-ASR 基座几乎砍掉了一半,在所有参测模型中稳坐第一:

排名 模型 参数量 总体 WER 总体 CER
🥇 QwenCleo-ASR 1.7B 19.85 10.52
🥈 Arabic-Whisper-CodeSwitching 1.55B 37.98 17.86
🥉 NVIDIA Nemotron-3.5 0.6B 38.04 19.72
4 Qwen3-ASR-1.7B(基座) 1.7B 41.51 20.86
5 Whisper Large-v3 Turbo(微调) 0.81B 50.83 22.86

指标越低越好。WER(词错误率)/ CER(字错误率)均在同一套埃及语归一化规则下评测。

完整对比数据如下图:

QwenCleo-ASR阿英混说语音识别基准测试WER/CER对比

⚡ 进阶玩法:流式转写与 vLLM 服务

如果你要做实时字幕、直播转写这类"边说边出字"的场景,QwenCleo 继承了 Qwen3-ASR 的逐 token 真流式能力(依赖 vLLM,需要 Ampere 及以上 GPU,如 L4 / A100 / H100):

pip install qwencleo-asr
qwencleo install-vllm     # 安装支持 Qwen3-ASR 的 vLLM 版本
qwencleo serve            # 在 :8000 端口起一个 OpenAI 兼容服务

启动服务后,用 stream(...) 就能拿到逐字增量输出;不想起服务的场景,也可以直接调用 stream_file(...) 做分块转写。

🎯 适用场景与使用限制

适合: 埃及阿拉伯语转录、阿英混说内容、播客/视频字幕、技术类阿语语音转写。

注意:

  • 🔹 模型为埃及方言精调,其他阿拉伯语方言、远距离嘈杂环境效果会下降;
  • 🔹 它不擅长纯英文音频,别拿它当英语 ASR 用;
  • 🔹 推理时建议把 language 提示设为 "Arabic"(也可留 None 自动检测)。

更多细节见 README.md。

📁 项目文件导览

这个仓库本身就是模型本体,核心文件一览:

文件 说明
model.safetensors 模型权重(1.7B,bfloat16)
config.json 模型架构与参数配置
generation_config.json 文本生成配置
tokenizer_config.json / tokenizer.json 分词器配置与词表
added_tokens.json 新增的特殊 token
preprocessor_config.json 音频预处理配置
assets/sample.wav 可实测的示例音频

想在自己的项目里接入,直接 pip install qwencleo-asr 即可自动拉取模型。QwenCleo-ASR 用简洁的方式,把"阿英混说"这个老大难问题做得相当漂亮——如果你做埃及阿拉伯语或阿英混说相关的语音识别,不妨先试试它。

登录后查看全文
QwenCleo-ASR