SpeakoFlow Mini 量化怎么选:Q8_0、Q6_K、Q5_K_M、Q4_K_M 与 BF16 完整对比清单

原创2026-11-10 14:29:171,395 阅读

SpeakoFlow Mini 量化怎么选:Q8_0、Q6_K、Q5_K_M、Q4_K_M 与 BF16 完整对比清单

SpeakoFlow Mini 是一款 0.8B 参数的本地语音听写文本清理模型(dictation cleanup),仓库同时提供 Q8_0、Q6_K、Q5_K_M、Q4_K_M 与 BF16 五种 GGUF 量化文件。面对 542 MB 到 1,558 MB 不等的 5 个文件,量化到底怎么选?本文给出一份可直接对照的完整对比清单:体积、精度差异、适用场景、下载与运行命令,5 分钟帮你确定该下哪一个。

SpeakoFlow Mini 本地语音听写清理模型项目横幅

30 秒速查:按场景直接选

你的情况 推荐量化 体积 理由
日常使用、不折腾 Q8_0 833 MB 官方参考版本、精度基准,应用默认下载
内存/磁盘略紧张 Q6_K 647 MB 与 Q8_0 输出仅 1.3% 不同,是差距最小的降档
想再省一点空间 Q5_K_M 593 MB 编辑正确率与 Q8_0 持平(48.8%)
极限压缩 Q4_K_M 542 MB 最省 291 MB,但 7.3% 的输出与 Q8_0 不同
想自己再做量化实验 BF16 1,558 MB 源精度文件,比 Q8_0 大 724 MB 但得分相同

官方在 README.md 中的结论只有一句话:Take Q8_0(拿 Q8_0)。下面解释为什么。

五个量化文件的完整数据对比

仓库里的每个 GGUF 文件都跑过同一套保留评测集(temperature 0,同一张 GPU、完全相同的设置、各跑一遍),所以数据可以直接横向比较:

量化文件 体积 综合 Overall 克制 Restraint 编辑正确率 Edit accuracy 与 Q8_0 输出不同
Q8_0 ⭐ 833 MB 70.7% 92.6% 48.8% 参考基准
BF16 1,558 MB 70.7% 92.6% 48.8% 2.0%
Q6_K 647 MB 70.1% 92.6% 47.6% 1.3%
Q5_K_M 593 MB 70.0% 91.2% 48.8% 2.0%
Q4_K_M 542 MB 69.4% 91.2% 47.6% 7.3%

先搞懂四个指标,再谈量化差距

  • Restraint(克制):已经正确的文本被一字不差原样返回的比例——这是听写清理模型最容易被忽视、也最关键的能力。
  • Edit accuracy(编辑正确率):确实需要修改的文本被一字不差改对的比例。
  • Overall(综合):两者的不加权平均;低于 50% 意味着"干脆不改"都比它强。
  • Content damage(内容损伤):把说话人真正说过的词弄丢的比例,越低越好(Q8_0 为 10.7%)。

SpeakoFlow Mini 量化模型评测得分卡

两条评分轴是互相拉扯的:一个从不修改文本的模型,克制满分、编辑正确率却是零。所以比较量化文件时,两个分数要一起看,而不是只盯一个。

量化差距到底有多大?结论:比测量误差还小

这是整篇最关键的一段:

  1. 整体差距在评测的分辨能力之内。 Q4_K_M 综合分落后 Q8_0 仅 1.3 个百分点,相当于每条轴上只差 1 个样例,两者的 95% 置信区间几乎完全重叠——统计上无法区分。
  2. 真正的差异是"说了不一样的话",而不是"错得更多"。 Q4_K_M 有 7.3% 的输出与 Q8_0 不一致。作者在日常生活里因此更偏好 Q8_0。
  3. BF16 不是升级包。 它比 Q8_0 大 724 MB、得分却完全相同,存在的意义是作为源文件,供你自己做量化实验。

SpeakoFlow Mini 克制与编辑正确率双轴对比图

一句话总结:五个文件精度上基本"打平",选谁的本质是体积取舍。

一行命令下载与运行

以 llama.cpp 为例,把 :Q8_0 换成别的量化标签(如 :Q6_K、:Q4_K_M)即可切换文件:

# llama.cpp 直接运行
llama-cli -hf SpeakoFlow/speakoflow-mini:Q8_0

# 起一个 OpenAI 兼容服务(:8080)
llama-server -hf SpeakoFlow/speakoflow-mini:Q8_0

其他常用工具:

# Ollama
ollama run hf.co/SpeakoFlow/speakoflow-mini

# LM Studio
lms get SpeakoFlow/speakoflow-mini@Q8_0

两个不可省略的运行设置

  • 不要限制 max_tokens:长文本被截断就属于内容丢失。
  • 关闭 thinking(推理输出):输出里一旦混入推理文本,所有"本应原样返回"的用例都会判错。

另外,模型微调时使用的 system prompt 是模型的一部分(完整规则见 README.md)。把待清理的文本作为用户消息原样发送即可——不加额外指令、分隔符或示例。想快速上手观察行为,可以直接用 examples.jsonl 里 21 条覆盖 15 类场景的样例。

速度参考:CPU 与 GPU 实测

测试环境:Ryzen 7 7700X,8 线程,reasoning 关闭。

后端 中位延迟 p95 解码速度
CPU 2,509 ms 14,821 ms 54 tok/s
CUDA(--n-gpu-layers 99) 311 ms 1,909 ms 342 tok/s

GPU 中位延迟快 8.1 倍,且克制与编辑正确率不变。注意:同一后端内三次运行输出完全一致;CPU 与 CUDA 之间有 1.3% 的输出存在差异(两种内核产生的 logits 不完全相同),属于正常现象,不算量化问题。

常见问题

Q:低精度文件是从高精度文件再压出来的吗?

不是。五个文件都来自同一个 checkpoint(LoRA rank 16 微调并合并后),用重要性矩阵(importance matrix)直接量化;Q8_0 参考构建的 SHA-256 已在 README 中公开,可校验完整性。

Q:内存不够,上 Q4_K_M 会明显变笨吗?

按评测看,不会"变笨"(差距在噪声范围内);代价是约 7.3% 的输出与 Q8_0 不一样。日常轻用可以接受,追求与官方应用一致的行为就选 Q8_0。

Q:BF16 更大,是不是跑起来更准?

得分与 Q8_0 完全相同(70.7% / 92.6% / 48.8%),只多占 724 MB。除非你要从它出发自制量化,否则没必要下载。

总结:SpeakoFlow Mini 量化选择清单

  • ✅ 默认选 Q8_0(833 MB):参考版本、应用默认、每日使用首选
  • 💾 内存/空间紧张选 Q6_K(647 MB):与基准输出仅 1.3% 差异
  • ⚖️ 再省空间选 Q5_K_M(593 MB):编辑正确率与 Q8_0 持平
  • 📦 极限压缩选 Q4_K_M(542 MB):接受 7.3% 的输出差异
  • 🔧 实验/自量化选 BF16(1,558 MB):源文件,不是升级

0.8B 模型本身很小,五个文件精度上基本"打平",所以 SpeakoFlow Mini 量化选择的核心不是怕变差,而是把体积花在你最需要的地方。

登录后查看全文
speakoflow-mini