SpeakoFlow Mini 量化怎么选:Q8_0、Q6_K、Q5_K_M、Q4_K_M 与 BF16 完整对比清单
SpeakoFlow Mini 量化怎么选:Q8_0、Q6_K、Q5_K_M、Q4_K_M 与 BF16 完整对比清单
SpeakoFlow Mini 是一款 0.8B 参数的本地语音听写文本清理模型(dictation cleanup),仓库同时提供 Q8_0、Q6_K、Q5_K_M、Q4_K_M 与 BF16 五种 GGUF 量化文件。面对 542 MB 到 1,558 MB 不等的 5 个文件,量化到底怎么选?本文给出一份可直接对照的完整对比清单:体积、精度差异、适用场景、下载与运行命令,5 分钟帮你确定该下哪一个。
30 秒速查:按场景直接选
| 你的情况 | 推荐量化 | 体积 | 理由 |
|---|---|---|---|
| 日常使用、不折腾 | Q8_0 | 833 MB | 官方参考版本、精度基准,应用默认下载 |
| 内存/磁盘略紧张 | Q6_K | 647 MB | 与 Q8_0 输出仅 1.3% 不同,是差距最小的降档 |
| 想再省一点空间 | Q5_K_M | 593 MB | 编辑正确率与 Q8_0 持平(48.8%) |
| 极限压缩 | Q4_K_M | 542 MB | 最省 291 MB,但 7.3% 的输出与 Q8_0 不同 |
| 想自己再做量化实验 | BF16 | 1,558 MB | 源精度文件,比 Q8_0 大 724 MB 但得分相同 |
官方在 README.md 中的结论只有一句话:Take Q8_0(拿 Q8_0)。下面解释为什么。
五个量化文件的完整数据对比
仓库里的每个 GGUF 文件都跑过同一套保留评测集(temperature 0,同一张 GPU、完全相同的设置、各跑一遍),所以数据可以直接横向比较:
| 量化文件 | 体积 | 综合 Overall | 克制 Restraint | 编辑正确率 Edit accuracy | 与 Q8_0 输出不同 |
|---|---|---|---|---|---|
| Q8_0 ⭐ | 833 MB | 70.7% | 92.6% | 48.8% | 参考基准 |
| BF16 | 1,558 MB | 70.7% | 92.6% | 48.8% | 2.0% |
| Q6_K | 647 MB | 70.1% | 92.6% | 47.6% | 1.3% |
| Q5_K_M | 593 MB | 70.0% | 91.2% | 48.8% | 2.0% |
| Q4_K_M | 542 MB | 69.4% | 91.2% | 47.6% | 7.3% |
先搞懂四个指标,再谈量化差距
- Restraint(克制):已经正确的文本被一字不差原样返回的比例——这是听写清理模型最容易被忽视、也最关键的能力。
- Edit accuracy(编辑正确率):确实需要修改的文本被一字不差改对的比例。
- Overall(综合):两者的不加权平均;低于 50% 意味着"干脆不改"都比它强。
- Content damage(内容损伤):把说话人真正说过的词弄丢的比例,越低越好(Q8_0 为 10.7%)。
两条评分轴是互相拉扯的:一个从不修改文本的模型,克制满分、编辑正确率却是零。所以比较量化文件时,两个分数要一起看,而不是只盯一个。
量化差距到底有多大?结论:比测量误差还小
这是整篇最关键的一段:
- 整体差距在评测的分辨能力之内。 Q4_K_M 综合分落后 Q8_0 仅 1.3 个百分点,相当于每条轴上只差 1 个样例,两者的 95% 置信区间几乎完全重叠——统计上无法区分。
- 真正的差异是"说了不一样的话",而不是"错得更多"。 Q4_K_M 有 7.3% 的输出与 Q8_0 不一致。作者在日常生活里因此更偏好 Q8_0。
- BF16 不是升级包。 它比 Q8_0 大 724 MB、得分却完全相同,存在的意义是作为源文件,供你自己做量化实验。
一句话总结:五个文件精度上基本"打平",选谁的本质是体积取舍。
一行命令下载与运行
以 llama.cpp 为例,把 :Q8_0 换成别的量化标签(如 :Q6_K、:Q4_K_M)即可切换文件:
# llama.cpp 直接运行
llama-cli -hf SpeakoFlow/speakoflow-mini:Q8_0
# 起一个 OpenAI 兼容服务(:8080)
llama-server -hf SpeakoFlow/speakoflow-mini:Q8_0
其他常用工具:
# Ollama
ollama run hf.co/SpeakoFlow/speakoflow-mini
# LM Studio
lms get SpeakoFlow/speakoflow-mini@Q8_0
两个不可省略的运行设置
- 不要限制
max_tokens:长文本被截断就属于内容丢失。 - 关闭 thinking(推理输出):输出里一旦混入推理文本,所有"本应原样返回"的用例都会判错。
另外,模型微调时使用的 system prompt 是模型的一部分(完整规则见 README.md)。把待清理的文本作为用户消息原样发送即可——不加额外指令、分隔符或示例。想快速上手观察行为,可以直接用 examples.jsonl 里 21 条覆盖 15 类场景的样例。
速度参考:CPU 与 GPU 实测
测试环境:Ryzen 7 7700X,8 线程,reasoning 关闭。
| 后端 | 中位延迟 | p95 | 解码速度 |
|---|---|---|---|
| CPU | 2,509 ms | 14,821 ms | 54 tok/s |
CUDA(--n-gpu-layers 99) |
311 ms | 1,909 ms | 342 tok/s |
GPU 中位延迟快 8.1 倍,且克制与编辑正确率不变。注意:同一后端内三次运行输出完全一致;CPU 与 CUDA 之间有 1.3% 的输出存在差异(两种内核产生的 logits 不完全相同),属于正常现象,不算量化问题。
常见问题
Q:低精度文件是从高精度文件再压出来的吗?
不是。五个文件都来自同一个 checkpoint(LoRA rank 16 微调并合并后),用重要性矩阵(importance matrix)直接量化;Q8_0 参考构建的 SHA-256 已在 README 中公开,可校验完整性。
Q:内存不够,上 Q4_K_M 会明显变笨吗?
按评测看,不会"变笨"(差距在噪声范围内);代价是约 7.3% 的输出与 Q8_0 不一样。日常轻用可以接受,追求与官方应用一致的行为就选 Q8_0。
Q:BF16 更大,是不是跑起来更准?
得分与 Q8_0 完全相同(70.7% / 92.6% / 48.8%),只多占 724 MB。除非你要从它出发自制量化,否则没必要下载。
总结:SpeakoFlow Mini 量化选择清单
- ✅ 默认选 Q8_0(833 MB):参考版本、应用默认、每日使用首选
- 💾 内存/空间紧张选 Q6_K(647 MB):与基准输出仅 1.3% 差异
- ⚖️ 再省空间选 Q5_K_M(593 MB):编辑正确率与 Q8_0 持平
- 📦 极限压缩选 Q4_K_M(542 MB):接受 7.3% 的输出差异
- 🔧 实验/自量化选 BF16(1,558 MB):源文件,不是升级
0.8B 模型本身很小,五个文件精度上基本"打平",所以 SpeakoFlow Mini 量化选择的核心不是怕变差,而是把体积花在你最需要的地方。


