omniASR-LLM-300M推理教程:用ASRInferencePipeline实现批量语音转写与指定语言输出的实战
omniASR-LLM-300M推理教程:用ASRInferencePipeline实现批量语音转写与指定语言输出的实战
omniASR-LLM-300M 是 Meta 开源 Omnilingual ASR 系列中的多语言语音识别(ASR)模型,支持 1600+ 种语言并可选指定输出语言。本教程面向新手,带你用官方推理管线 ASRInferencePipeline 一步步完成批量语音转写与指定语言输出的完整实战。
一、omniASR-LLM-300M 是什么?
omniASR-LLM-300M 属于 Omnilingual ASR 模型家族,这是一个开源的多语言端到端自动语音识别模型,特点包括:
- 🌍 多语言覆盖:整个 Omnilingual ASR 体系覆盖 1600+ 种语言,包含拉丁文、阿拉伯文、天城文等多种书写系统
- 🎯 语言条件控制:LLM 系列支持"optional language conditioning",即可以显式指定转写输出的目标语言,避免模型猜错语言
- ⚖️ 开源许可:模型与代码均为 Apache-2.0 许可,可自由商用
模型家族速览
| 模型 | 类型 | 参数量 | 下载体积 | 推理显存 |
|---|---|---|---|---|
| omniASR_CTC_300M | ASR | 3.25 亿 | 1.3 GiB | ~2 GiB |
| omniASR_LLM_300M | ASR + 语言条件 | 16.3 亿 | 6.1 GiB | ~5 GiB |
| omniASR_LLM_1B | ASR + 语言条件 | 22.8 亿 | 8.5 GiB | ~6 GiB |
| omniASR_LLM_3B | ASR + 语言条件 | 43.8 亿 | 17.0 GiB | ~10 GiB |
| omniASR_LLM_7B | ASR + 语言条件 | 78.0 亿 | 30.0 GiB | ~17 GiB |
💡 300M 版本是"入门甜点款":一张 ~5 GiB 显存的显卡即可跑,推理速度接近实时,特别适合新手快速上手。
更多模型对比与说明可参考项目内的 README.md。
二、环境准备:最快安装方法
1. 安装推理库
模型基于 fairseq2 开发,官方提供了跨平台的参考推理管线,通过 pip 一键安装即可:
pip install omnilingual-asr
# 或使用 uv
uv add omnilingual-asr
2. 安装音频依赖 libsndfile
音频解码依赖 libsndfile):
- macOS:
brew install libsndfile - Windows:可能需要额外配置系统依赖
3. 获取模型文件
本仓库即包含 omniASR-LLM-300M 的模型文件(通过 Git LFS 存储):
- 📦 omniASR-LLM-300M.pt —— 模型权重,约 6.1 GiB
- 🧩 omniASR_tokenizer.model —— SentencePiece 分词器,约 85 KB
克隆本仓库时需启用 LFS(git lfs install),否则下载到的只是文件指针。
三、推理实战:用 ASRInferencePipeline 完成语音转写
1. 加载推理管线
from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline
pipeline = ASRInferencePipeline(model_card="omniASR_LLM_300M")
一行代码完成模型加载,model_card 参数直接指定模型名称即可。
2. 批量语音转写
transcribe 方法接收音频文件路径列表,天然支持批量处理,并通过 batch_size 控制批处理大小:
audio_files = ["/path/to/eng_audio1.flac", "/path/to/deu_audio2.wav"]
transcriptions = pipeline.transcribe(audio_files, batch_size=2)
for path, text in zip(audio_files, transcriptions):
print(path, "->", text)
✨ 小技巧:batch_size 越大吞吐越高,但显存占用也越大。5 GiB 显存的显卡建议从 batch_size=1~2 起步,逐步调大直到显存吃紧。
3. 指定语言输出(本模型的看家本领)
通过 lang 参数可以显式告诉模型每段音频的目标语言,语言代码格式为 {语言代码}_{书写系统}:
audio_files = ["/path/to/eng_audio1.flac", "/path/to/cmn_audio2.wav"]
lang = ["eng_Latn", "cmn_Hans"]
transcriptions = pipeline.transcribe(audio_files, lang=lang, batch_size=2)
常用语言代码示例:
| 语言代码 | 含义 |
|---|---|
eng_Latn |
英语(拉丁书写) |
cmn_Hans |
普通话中文(简体) |
deu_Latn |
德语(拉丁书写) |
📌 注意:
lang列表与音频文件一一对应,混合语言的批量任务中可以为每段音频指定不同语言,无需分组处理。
四、如何查询支持的语言列表
不确定某个语言是否被支持?可以直接在代码中查询内置语言表:
from omnilingual_asr.models.wav2vec2_llama.lang_ids import supported_langs
print(f"Total supported languages: {len(supported_langs)}")
if "eng_Latn" in supported_langs:
print("English (Latin script) is supported!")
语言列表定义在 omnilingual_asr/models/wav2vec2_llama/lang_ids.py 模块中,完整列表见 README.md 的 Supported Languages 章节。
五、性能预期与常见问题
性能参考
官方测试条件(A100 显卡,30 秒音频,BF16,batch=1)下,omniASR_LLM_300M 的实时率(RTF)约为 0.090,即转写速度与实时音频时长基本持平。实际表现取决于你的 GPU 与批处理规模。
新手常见坑位 🕳️
- ❓ 转写结果是空的? 检查音频格式是否为 flac/wav 等 libsndfile 支持的格式
- ❓ 显存不够? 降低
batch_size,或改用 CTC 系列 300M(仅需 ~2 GiB,但无语言条件控制) - ❓ 语言代码写错? 语言代码必须区分书写系统,
cmn_Hans(简体)与cmn_Hant(繁体)是两个不同的条目
六、总结
| 要点 | 说明 |
|---|---|
| 安装 | pip install omnilingual-asr |
| 加载模型 | ASRInferencePipeline(model_card="omniASR_LLM_300M") |
| 批量转写 | pipeline.transcribe(audio_files, batch_size=N) |
| 指定语言 | lang=["eng_Latn", "cmn_Hans"] 与音频一一对应 |
| 显存需求 | ~5 GiB |
omniASR-LLM-300M 以轻量体积提供了 1600+ 语言识别能力和指定语言输出这一 LLM 系列独有能力,是多语言语音转写场景下性价比很高的选择。如果你需要更高的识别精度,也可以平滑升级到同系列的 1B / 3B / 7B 版本,API 完全一致。