5分钟跑通多语言语音识别:Hojo-ASR-Multi-V1从零安装到第一次转写完整教程
5分钟跑通多语言语音识别:Hojo-ASR-Multi-V1从零安装到第一次转写完整教程
Hojo-ASR-Multi-V1 是一个基于 Qwen3 大语言模型构建的高性能多语言语音识别(ASR)模型,支持德语、法语、西班牙语、葡萄牙语、意大利语、日语、韩语、俄语等主流语言,并已支持普通话、英语、粤语和四川话。本教程面向新手,带你用 5 分钟 完成从环境安装到第一次语音转写的全过程 🚀
一、认识 Hojo-ASR-Multi-V1:它强在哪?
在开始动手前,先花 1 分钟了解这个多语言语音识别模型的技术亮点:
- 经典 Encoder-Adapter-LLM 架构:音频先经过声学编码器提取细粒度特征,再通过适配器送入大语言模型,充分利用 LLM 强大的语义能力 README.md
- 多阶段训练 + 强化学习优化:在噪声环境、口语化发音、自我纠正等真实复杂场景下表现更稳
- 全栈开源、Apache 2.0 协议:可自由用于学术研究、个人项目乃至商业二次开发 LICENSE
💡 简单理解:传统 ASR 模型只负责"听写",而 Hojo-ASR-Multi-V1 相当于"听写 + 大模型理解",对模糊发音和上下文纠错更聪明。
二、一键安装:3 条命令建好运行环境
安装多语言语音识别模型最快的方式,是直接使用官方 PyPI 包 hojo-asr,无需手动下载几十 GB 的模型文件。
1. 创建独立的 Python 环境
推荐使用 conda 创建干净的虚拟环境(官方建议 Python 3.10):
conda create -n hojo-asr python=3.10
conda activate hojo-asr
2. 安装 hojo-asr 推理引擎
pip install -U hojo-asr
一条命令即可获得支持 transformers 后端的最小化安装,这是目前最快的配置方法。
3.(可选)克隆模型仓库查看完整结构
如果你希望离线使用或想研究模型内部结构,可以克隆仓库:
git clone https://gitcode.com/hf_mirrors/HojoAI/Hojo-ASR-Multi-V1
三、第一次转写:加载模型 + 3 行核心代码
环境就绪后,运行第一次语音转写只需要几行代码。下面是最简示例(完整示例见 README.md):
from hojo_asr import HOJO_ASR
# 加载模型,device 可填 "cuda:0"(GPU)或 "cpu"
model = HOJO_ASR.load_model("HojoAI/Hojo-ASR-Multi-V1", device="cuda:0")
# 传入 wav 文件路径列表,执行语音转写
wav_paths = ["/path/to/audio.wav"]
res = model.run_infer(wav_paths, batch_size=10)
for val in res:
print("key :", val["key"], " text :", val["text"])
运行后,控制台会打印出每条音频对应的识别文本——恭喜你,多语言语音识别已经跑通了!🎉
输入方式的 3 种选择(详见 README.md):
| 输入方式 | 适用场景 |
|---|---|
wav 文件路径列表 wav_paths |
本地少量音频文件 |
| scp 文件路径 | 批量音频的清单文件 |
音频字节列表 wav_bytes_list |
来自网络或内存流的数据 |
四、模型仓库结构详解:每个文件夹都是干什么的?
克隆下来的仓库结构非常清晰,帮你逐一拆解:
Hojo-ASR-Multi-V1/
├── config.yaml # 全局模型配置
├── merged_full_model.safetensors # 合并后的完整模型权重(核心文件)
├── Qwen3-4B-Instruct-2507/ # LLM 解码器(文本语义大脑)
├── Qwen3-Omni-30B-A3B-Instruct/ # 音频编码器(听觉前端)
├── whisper-large-v3/ # Whisper 特征提取器
└── README.md # 官方说明文档
1. 全局配置:config.yaml
这个文件定义了模型各组件的路径和推理参数,例如编码器指向 Qwen3-Omni-30B-A3B 音频编码器、LLM 指向 Qwen3-4B,并设置了 beam search 等生成参数(如 num_beams: 4)。
2. 三个核心组件
- 音频编码器:Qwen3-Omni-30B-A3B-Instruct/config.json 定义了 32 层音频编码器结构,负责把声音转成细粒度声学特征
- LLM 解码器:Qwen3-4B-Instruct-2507/config.json 是一个 36 层、40 亿参数的因果语言模型,支持 256K 长上下文
- Whisper 前端:whisper-large-v3/preprocessor_config.json 提供 mel 频谱特征预处理配置
📌 三者在 merged_full_model.safetensors 中被合并为一份完整权重,加载时一步到位。
五、支持哪些语言?识别效果有多好?
语言覆盖
Hojo-ASR-Multi-V1 的多语言识别能力覆盖:德语、法语、西班牙语、葡萄牙语、意大利语、日语、韩语、阿拉伯语、俄语,同时支持普通话、英语、粤语、四川话(见 README.md Roadmap)。
公开多语言基准测试(WER ↓,越低越好)
| 数据集 | WER |
|---|---|
| 德语 CoVoST | 3.85 |
| 法语 MLS | 2.95 |
| 意大利语 CoVoST | 2.44 |
| 西班牙语 FLEURS | 2.66 |
| 葡萄牙语 FLEURS | 3.61 |
完整榜单见 README.md 的 Evaluation 部分。
六、常见问题速查(避坑指南)
Q1:显存不够 / 报 OOM 怎么办? 优先使用支持量化或更小上下文的推理框架;若必须本地直推,可参考 Qwen3 官方建议调短上下文长度(如 32768),详见 Qwen3-4B-Instruct-2507/README.md。
Q2:报 KeyError: 'qwen3' 错误?
说明你的 transformers 版本过旧,升级到 4.51.0 以上即可,原因与解决方法写在 Qwen3-4B-Instruct-2507/README.md。
Q3:没有 GPU 能用 CPU 吗?
可以。load_model 的 device 参数传 "cpu" 即可,但速度会明显慢于 GPU(如 cuda:0)。
Q4:如何控制一次批量转写的并发?
通过 run_infer 的 batch_size 参数调整,默认示例为 10,见 README.md。
七、总结:你的多语言语音识别之旅
回顾一下这 5 分钟你完成的路径:
- ✅
pip install -U hojo-asr装好推理引擎 - ✅
HOJO_ASR.load_model(...)加载多语言语音识别模型 - ✅
run_infer(...)传入音频,拿到转写文本
Hojo-ASR-Multi-V1 凭借 Encoder-Adapter-LLM 架构和强化学习优化,在多语言、噪声、口语化场景下都保持了出色的识别精度,Apache 2.0 协议也让商用集成没有后顾之忧。现在,去找一段德语或粤语音频试试吧!
📮 如需企业级集成支持(定制语音开发、商业授权等),可参考 README.md 中的联系方式。