Qwen3-ASR-0.6B-GGUF 快速上手教程:5分钟用Ollama跑通本地语音转文字
Qwen3-ASR-0.6B-GGUF 快速上手教程:5分钟用Ollama跑通本地语音转文字
Qwen3-ASR-0.6B-GGUF 是通义千问团队开源的语音识别(ASR)模型 Qwen3-ASR-0.6B 的 GGUF 量化版本,由 unsloth 整理发布。它支持 30 种语言和 22 种中文方言的语音转文字,模型只有 0.6B 参数,配合 Ollama 可以在普通电脑上 5 分钟跑通本地语音转文字,数据完全不出本机,隐私安全又免费。
一、为什么选择 Qwen3-ASR-0.6B-GGUF?
GGUF 是一种专为本地推理优化的模型格式,体积更小、加载更快,是 Ollama、llama.cpp 等本地推理工具的标准格式。这个仓库正是把 Qwen3-ASR-0.6B 转换成了 GGUF 格式,让你无需 GPU 集群也能体验接近闭源大模型 API 的识别效果。
相比同系列 1.7B 版本,0.6B 版本主打精度与效率的平衡:官方数据显示其在 128 并发下吞吐量可达 2000 倍,单模型同时支持流式/离线两种推理模式,还能转写长音频,甚至带 BGM 的歌声。
📦 仓库文件一览(均位于仓库根目录):
| 文件 | 说明 |
|---|---|
| Qwen3-ASR-0.6B-Q8_0.gguf | Q8_0 量化版主模型,体积更小、精度损失极小,推荐首选 |
| Qwen3-ASR-0.6B-bf16.gguf | bf16 全精度主模型,精度上限最高,占用更多内存 |
| mmproj-Qwen3-ASR-0.6B-Q8_0.gguf | Q8_0 版配套的多模态投影器(音频输入编码组件),与 Q8_0 主模型搭配使用 |
| mmproj-Qwen3-ASR-0.6B-bf16.gguf | bf16 版配套多模态投影器,与 bf16 主模型搭配使用 |
| README.md | 项目说明、语言支持列表与完整评测基准数据 |
💡 选型建议:内存 8GB 以上的电脑直接用
Q8_0版本;追求极限精度或内存充足(16GB+)再考虑bf16版本。主模型与 mmproj 文件版本要对应,不要混搭。
二、5分钟跑通本地语音转文字(Ollama 安装步骤)
整个过程只需三步:装 Ollama → 导入 GGUF 模型 → 运行识别。
第 1 步:安装 Ollama
Ollama 是目前最流行的本地大模型运行工具,一行命令即可安装(Windows/macOS/Linux 官方安装包均可),安装完成后在终端执行下面的命令验证:
ollama -v
能打印版本号即安装成功。
第 2 步:准备模型文件并导入
把仓库中的模型文件下载到本地任意目录(如 models/),保持主模型与 mmproj 文件放在一起:
# 以推荐的 Q8_0 量化版为例
models/Qwen3-ASR-0.6B-Q8_0.gguf
models/mmproj-Qwen3-ASR-0.6B-Q8_0.gguf
在同目录下新建一个 Modelfile,告诉 Ollama 从哪里加载模型:
FROM ./Qwen3-ASR-0.6B-Q8_0.gguf
然后执行创建命令,给模型起个名字(qwen3-asr 可自定义):
ollama create qwen3-asr -f Modelfile
第 3 步:运行语音转文字
创建成功后,直接运行:
ollama run qwen3-asr
向模型传入一段音频(mp3、wav 均可)并输入指令,例如:
请转写这段音频:meeting.mp3
模型会自动识别语言(支持 30 种语言 + 22 种中文方言),输出对应的文字结果。整个过程在本地完成,无需联网、无需 API Key。
三、效果如何?官方基准数据速览
Qwen3-ASR-0.6B 虽然小,但能力不弱。以下摘自 README.md 的公开评测(WER 越低越好):
- 英文 Librispeech-clean:2.11,与 GPT-4o-Transcribe(1.39)、Whisper-large-v3(1.51)处于同一量级;
- 中文 AISHELL-2-test:3.15,优于 Whisper-large-v3 的 5.06;
- 粤语 CV-yue:9.50,明显优于 Whisper-large-v3 的 16.23,方言场景是它的强项;
- 语言识别平均准确率 96.8%,超过 Whisper-large-v3 的 94.1%。
即使面对强噪声、绕口令、老人/儿童语音等刁钻场景,0.6B 版本也保持了相当稳定的表现,完全能满足日常会议记录、字幕生成、播客转写等需求。
四、常见问题 FAQ
1. 没有显卡能跑吗? 可以。0.6B 属于轻量级模型,Q8_0 量化后 CPU 即可流畅推理,速度略慢但完全可用。
2. 支持中文方言吗? 支持。覆盖安徽、东北、四川、粤语(港/粤口音)、吴语、闽南语等 22 种中文方言,以及多国英语口音。
3. Q8_0 和 bf16 怎么选? 普通用户选 Q8_0:体积小、加载快,精度损失几乎感知不到;显存/内存充裕且追求极致精度再选 bf16。
4. 可以转写带背景音乐的歌曲吗? 可以。官方测试显示该模型对 Singing Voice、Songs with BGM 场景均有良好支持。
五、总结
通过本教程,你已经用 Ollama 在 5 分钟内跑通了 Qwen3-ASR-0.6B-GGUF 本地语音转文字:支持 52 种语言和方言、单模型支持流式与离线推理、隐私数据不出本机。对于想在个人电脑上部署一套免费、高效的多语言语音识别方案的用户来说,这个 0.6B GGUF 模型是目前开源阵营中性价比极高的选择。