Qwen3-ASR-0.6B-GGUF 快速上手教程:5分钟用Ollama跑通本地语音转文字

原创2026-11-09 11:09:522,206 阅读
文章标签:人工智能语音本地部署模型量化

Qwen3-ASR-0.6B-GGUF 快速上手教程:5分钟用Ollama跑通本地语音转文字

Qwen3-ASR-0.6B-GGUF 是通义千问团队开源的语音识别(ASR)模型 Qwen3-ASR-0.6B 的 GGUF 量化版本,由 unsloth 整理发布。它支持 30 种语言和 22 种中文方言的语音转文字,模型只有 0.6B 参数,配合 Ollama 可以在普通电脑上 5 分钟跑通本地语音转文字,数据完全不出本机,隐私安全又免费。

一、为什么选择 Qwen3-ASR-0.6B-GGUF?

GGUF 是一种专为本地推理优化的模型格式,体积更小、加载更快,是 Ollama、llama.cpp 等本地推理工具的标准格式。这个仓库正是把 Qwen3-ASR-0.6B 转换成了 GGUF 格式,让你无需 GPU 集群也能体验接近闭源大模型 API 的识别效果。

相比同系列 1.7B 版本,0.6B 版本主打精度与效率的平衡:官方数据显示其在 128 并发下吞吐量可达 2000 倍,单模型同时支持流式/离线两种推理模式,还能转写长音频,甚至带 BGM 的歌声。

📦 仓库文件一览(均位于仓库根目录):

文件 说明
Qwen3-ASR-0.6B-Q8_0.gguf Q8_0 量化版主模型,体积更小、精度损失极小,推荐首选
Qwen3-ASR-0.6B-bf16.gguf bf16 全精度主模型,精度上限最高,占用更多内存
mmproj-Qwen3-ASR-0.6B-Q8_0.gguf Q8_0 版配套的多模态投影器(音频输入编码组件),与 Q8_0 主模型搭配使用
mmproj-Qwen3-ASR-0.6B-bf16.gguf bf16 版配套多模态投影器,与 bf16 主模型搭配使用
README.md 项目说明、语言支持列表与完整评测基准数据

💡 选型建议:内存 8GB 以上的电脑直接用 Q8_0 版本;追求极限精度或内存充足(16GB+)再考虑 bf16 版本。主模型与 mmproj 文件版本要对应,不要混搭。

二、5分钟跑通本地语音转文字(Ollama 安装步骤)

整个过程只需三步:装 Ollama → 导入 GGUF 模型 → 运行识别。

第 1 步:安装 Ollama

Ollama 是目前最流行的本地大模型运行工具,一行命令即可安装(Windows/macOS/Linux 官方安装包均可),安装完成后在终端执行下面的命令验证:

ollama -v

能打印版本号即安装成功。

第 2 步:准备模型文件并导入

把仓库中的模型文件下载到本地任意目录(如 models/),保持主模型与 mmproj 文件放在一起:

# 以推荐的 Q8_0 量化版为例
models/Qwen3-ASR-0.6B-Q8_0.gguf
models/mmproj-Qwen3-ASR-0.6B-Q8_0.gguf

在同目录下新建一个 Modelfile,告诉 Ollama 从哪里加载模型:

FROM ./Qwen3-ASR-0.6B-Q8_0.gguf

然后执行创建命令,给模型起个名字(qwen3-asr 可自定义):

ollama create qwen3-asr -f Modelfile

第 3 步:运行语音转文字

创建成功后,直接运行:

ollama run qwen3-asr

向模型传入一段音频(mp3、wav 均可)并输入指令,例如:

请转写这段音频:meeting.mp3

模型会自动识别语言(支持 30 种语言 + 22 种中文方言),输出对应的文字结果。整个过程在本地完成,无需联网、无需 API Key。

三、效果如何?官方基准数据速览

Qwen3-ASR-0.6B 虽然小,但能力不弱。以下摘自 README.md 的公开评测(WER 越低越好):

  • 英文 Librispeech-clean:2.11,与 GPT-4o-Transcribe(1.39)、Whisper-large-v3(1.51)处于同一量级;
  • 中文 AISHELL-2-test:3.15,优于 Whisper-large-v3 的 5.06;
  • 粤语 CV-yue:9.50,明显优于 Whisper-large-v3 的 16.23,方言场景是它的强项;
  • 语言识别平均准确率 96.8%,超过 Whisper-large-v3 的 94.1%。

即使面对强噪声、绕口令、老人/儿童语音等刁钻场景,0.6B 版本也保持了相当稳定的表现,完全能满足日常会议记录、字幕生成、播客转写等需求。

四、常见问题 FAQ

1. 没有显卡能跑吗? 可以。0.6B 属于轻量级模型,Q8_0 量化后 CPU 即可流畅推理,速度略慢但完全可用。

2. 支持中文方言吗? 支持。覆盖安徽、东北、四川、粤语(港/粤口音)、吴语、闽南语等 22 种中文方言,以及多国英语口音。

3. Q8_0 和 bf16 怎么选? 普通用户选 Q8_0:体积小、加载快,精度损失几乎感知不到;显存/内存充裕且追求极致精度再选 bf16。

4. 可以转写带背景音乐的歌曲吗? 可以。官方测试显示该模型对 Singing Voice、Songs with BGM 场景均有良好支持。

五、总结

通过本教程,你已经用 Ollama 在 5 分钟内跑通了 Qwen3-ASR-0.6B-GGUF 本地语音转文字:支持 52 种语言和方言、单模型支持流式与离线推理、隐私数据不出本机。对于想在个人电脑上部署一套免费、高效的多语言语音识别方案的用户来说,这个 0.6B GGUF 模型是目前开源阵营中性价比极高的选择。

登录后查看全文
Qwen3-ASR-0.6B-GGUF