omniASR-LLM-300M推理教程:用ASRInferencePipeline实现批量语音转写与指定语言输出的实战

原创2026-11-05 09:19:541,973 阅读
文章标签:语音人工智能基础模型

omniASR-LLM-300M推理教程:用ASRInferencePipeline实现批量语音转写与指定语言输出的实战

omniASR-LLM-300M 是 Meta 开源 Omnilingual ASR 系列中的多语言语音识别(ASR)模型,支持 1600+ 种语言并可选指定输出语言。本教程面向新手,带你用官方推理管线 ASRInferencePipeline 一步步完成批量语音转写与指定语言输出的完整实战。


一、omniASR-LLM-300M 是什么?

omniASR-LLM-300M 属于 Omnilingual ASR 模型家族,这是一个开源的多语言端到端自动语音识别模型,特点包括:

  • 🌍 多语言覆盖:整个 Omnilingual ASR 体系覆盖 1600+ 种语言,包含拉丁文、阿拉伯文、天城文等多种书写系统
  • 🎯 语言条件控制:LLM 系列支持"optional language conditioning",即可以显式指定转写输出的目标语言,避免模型猜错语言
  • ⚖️ 开源许可:模型与代码均为 Apache-2.0 许可,可自由商用

模型家族速览

模型 类型 参数量 下载体积 推理显存
omniASR_CTC_300M ASR 3.25 亿 1.3 GiB ~2 GiB
omniASR_LLM_300M ASR + 语言条件 16.3 亿 6.1 GiB ~5 GiB
omniASR_LLM_1B ASR + 语言条件 22.8 亿 8.5 GiB ~6 GiB
omniASR_LLM_3B ASR + 语言条件 43.8 亿 17.0 GiB ~10 GiB
omniASR_LLM_7B ASR + 语言条件 78.0 亿 30.0 GiB ~17 GiB

💡 300M 版本是"入门甜点款":一张 ~5 GiB 显存的显卡即可跑,推理速度接近实时,特别适合新手快速上手。

更多模型对比与说明可参考项目内的 README.md。


二、环境准备:最快安装方法

1. 安装推理库

模型基于 fairseq2 开发,官方提供了跨平台的参考推理管线,通过 pip 一键安装即可:

pip install omnilingual-asr

# 或使用 uv
uv add omnilingual-asr

2. 安装音频依赖 libsndfile

音频解码依赖 libsndfile):

  • macOS:brew install libsndfile
  • Windows:可能需要额外配置系统依赖

3. 获取模型文件

本仓库即包含 omniASR-LLM-300M 的模型文件(通过 Git LFS 存储):

克隆本仓库时需启用 LFS(git lfs install),否则下载到的只是文件指针。


三、推理实战:用 ASRInferencePipeline 完成语音转写

1. 加载推理管线

from omnilingual_asr.models.inference.pipeline import ASRInferencePipeline

pipeline = ASRInferencePipeline(model_card="omniASR_LLM_300M")

一行代码完成模型加载,model_card 参数直接指定模型名称即可。

2. 批量语音转写

transcribe 方法接收音频文件路径列表,天然支持批量处理,并通过 batch_size 控制批处理大小:

audio_files = ["/path/to/eng_audio1.flac", "/path/to/deu_audio2.wav"]
transcriptions = pipeline.transcribe(audio_files, batch_size=2)

for path, text in zip(audio_files, transcriptions):
    print(path, "->", text)

✨ 小技巧:batch_size 越大吞吐越高,但显存占用也越大。5 GiB 显存的显卡建议从 batch_size=1~2 起步,逐步调大直到显存吃紧。

3. 指定语言输出(本模型的看家本领)

通过 lang 参数可以显式告诉模型每段音频的目标语言,语言代码格式为 {语言代码}_{书写系统}:

audio_files = ["/path/to/eng_audio1.flac", "/path/to/cmn_audio2.wav"]
lang = ["eng_Latn", "cmn_Hans"]

transcriptions = pipeline.transcribe(audio_files, lang=lang, batch_size=2)

常用语言代码示例:

语言代码 含义
eng_Latn 英语(拉丁书写)
cmn_Hans 普通话中文(简体)
deu_Latn 德语(拉丁书写)

📌 注意:lang 列表与音频文件一一对应,混合语言的批量任务中可以为每段音频指定不同语言,无需分组处理。


四、如何查询支持的语言列表

不确定某个语言是否被支持?可以直接在代码中查询内置语言表:

from omnilingual_asr.models.wav2vec2_llama.lang_ids import supported_langs

print(f"Total supported languages: {len(supported_langs)}")

if "eng_Latn" in supported_langs:
    print("English (Latin script) is supported!")

语言列表定义在 omnilingual_asr/models/wav2vec2_llama/lang_ids.py 模块中,完整列表见 README.md 的 Supported Languages 章节。


五、性能预期与常见问题

性能参考

官方测试条件(A100 显卡,30 秒音频,BF16,batch=1)下,omniASR_LLM_300M 的实时率(RTF)约为 0.090,即转写速度与实时音频时长基本持平。实际表现取决于你的 GPU 与批处理规模。

新手常见坑位 🕳️

  • ❓ 转写结果是空的? 检查音频格式是否为 flac/wav 等 libsndfile 支持的格式
  • ❓ 显存不够? 降低 batch_size,或改用 CTC 系列 300M(仅需 ~2 GiB,但无语言条件控制)
  • ❓ 语言代码写错? 语言代码必须区分书写系统,cmn_Hans(简体)与 cmn_Hant(繁体)是两个不同的条目

六、总结

要点 说明
安装 pip install omnilingual-asr
加载模型 ASRInferencePipeline(model_card="omniASR_LLM_300M")
批量转写 pipeline.transcribe(audio_files, batch_size=N)
指定语言 lang=["eng_Latn", "cmn_Hans"] 与音频一一对应
显存需求 ~5 GiB

omniASR-LLM-300M 以轻量体积提供了 1600+ 语言识别能力和指定语言输出这一 LLM 系列独有能力,是多语言语音转写场景下性价比很高的选择。如果你需要更高的识别精度,也可以平滑升级到同系列的 1B / 3B / 7B 版本,API 完全一致。

登录后查看全文
omniASR-LLM-300M