Dark Scarlett GGUF量化怎么选:Q4_K_M、Q5_K_M、Q6_K、Q8_0与imatrix量化对比指南
Dark Scarlett GGUF量化怎么选:Q4_K_M、Q5_K_M、Q6_K、Q8_0与imatrix量化对比指南
Dark Scarlett GGUF 量化版本一共有 10 个文件可选,但新手最容易懵:Q4_K_M、Q5_K_M、Q6_K、Q8_0 和 i1- 开头的 imatrix 量化到底差在哪?本文用一张对照表 + 按显存分档的选法,帮你 1 分钟选出最适合自己的 Dark Scarlett v0.3 GGUF 模型。
一、先认识一下 Dark Scarlett v0.3 模型
在选量化前,先了解这个模型的"底子",这直接决定了它跑起来需要什么配置:
| 项目 | 说明 |
|---|---|
| 基座模型 | gemma-4-26B-A4B-it(微调自该基座) |
| 架构特点 | MoE 混合专家:总参数 26B,但每次推理只激活约 4B |
| 训练方式 | LoRA(rank=32,2 个 epoch,仅文本层) |
| 定位 | 沉浸式角色扮演(Roleplay)对话模型 |
| 版本状态 | v0.3 BETA,官方标注为测试版本 |
| 许可证 | Apache 2.0,见 LICENSE.txt |
⚠️ 内容提示:该模型面向 18+ 成人内容,官方 README 明确声明"Intended for mature audiences only",请合规使用。
A4B 这个名字是关键:它意味着模型虽然总参数 26B(显存需求不小),但每个 token 只激活 4B 参数,生成速度远快于同体积的稠密模型,这也是 26B 级模型在消费级显卡上能流畅跑起来的原因。
更多细节可参考项目说明文件 README.md。
二、10 个量化文件全家福:一张表看懂
仓库内所有量化文件及官方定位如下:
| 量化文件 | 官方定位 | 精度等级 | 近似体积 |
|---|---|---|---|
| Q4_K_M | Decent Quality | ★★★★☆ | ~16 GB |
| Q5_K_M | Recommended(推荐) | ★★★★☆ | ~19 GB |
| Q6_K | High Quality | ★★★★★ | ~22 GB |
| Q8_0 | Near Lossless(近乎无损) | ★★★★★ | ~27 GB |
| i1-Q4_0 | imatrix 版 Q4_0 | ★★★☆☆ | ~15.5 GB |
| i1-Q4_K_M | imatrix 版 Q4_K_M | ★★★☆☆ | ~15 GB |
| i1-IQ4_XS | imatrix 版 IQ4_XS(最小) | ★★☆☆☆ | ~14.5 GB |
| i1-Q5_K_M | imatrix 版 Q5_K_M | ★★★☆☆ | ~18.5 GB |
| i1-Q6_K | imatrix 版 Q6_K | ★★★☆☆ | ~21 GB |
| imatrix | 校准矩阵文件 | — | 小文件 |
📌 体积为按 26B 参数规模的常规估算值,仅供评估显存占用参考。
可以看到,命名规律其实很简单:
- 前缀
i1-= 基于 imatrix(重要性矩阵)校准的量化,同档位下体积更小、精度损失更少; - 后缀
Q4_Q5_Q6_Q8= 权重的平均位宽,数字越小文件越小、质量损失越大; _K_M、_K= K-quant 分块量化方案;_0= 块级均匀量化;IQ4_XS中的 I = importance-matrix aware 的超压缩格式。
仓库里单独提供的 Dark-Scarlett-v0.3-26B-A4B-imatrix.gguf 是 imatrix 校准矩阵本身,一般用户不需要下载它,只有当你想自己重新量化模型时才会用到。
三、按显存快速选量化(新手直接照抄)
结合 A4B 的显存占用特性,推荐方案如下:
| 你的显存 | 首选量化 | 备选 | 体验预期 |
|---|---|---|---|
| 16 GB | i1-Q4_K_M 或 Q4_K_M |
i1-Q4_0 |
可用,建议上下文开 8K~16K |
| 24 GB(RTX 3090/4090) | Q5_K_M(官方推荐) |
Q6_K / i1-Q5_K_M |
流畅,质量与体积平衡最佳 |
| 32 GB(RTX 4090 D2D / A6000) | Q8_0 |
Q6_K |
接近全精度,角色一致性最好 |
| 12 GB 或更低 | i1-IQ4_XS + 部分 CPU 卸载 |
— | 能跑但速度依赖内存带宽 |
💡 核心结论:
- 只选一个 → 直接拿
Q5_K_M,这是作者在 README.md 里标为 Recommended 的版本; - 显存紧张(16 GB) → 优先
i1-Q4_K_M,imatrix 版本比裸Q4_K_M更省且更稳; - 显存富裕(32 GB+) →
Q8_0近乎无损,对角色扮演这种"人设一致性很重要"的场景收益明显。
为什么角色扮演模型更吃量化精度?
普通问答模型量化到 Q4 可能就够用了,但角色扮演模型依赖长对话中性格、口癖、称谓的一致性。位宽降低后,模型"忘记"人设、突然换说话风格的概率会上升。因此本文的整体建议是:在显存允许的前提下,尽量往上选一档。
四、各量化档位详解
4.1 Q4_K_M:16 GB 显存的守门员
- 4 位 K-quant 的中档方案(M = medium 混合粒度);
- 体积约 16 GB,是 26B 模型上显存的"最低可用线"之一;
- 官方定位为 Decent Quality,日常对话无碍,长程角色扮演中人设漂移概率略高。
4.2 Q5_K_M:官方推荐档
- 5 位量化,比 Q4_K_M 多约 3 GB 体积,换来越明显的细节保持;
- 作者将其标为 Recommended,24 GB 显存用户的默认答案;
- 质量损失感知明显小于从 Q4 到 Q5 的体积增长,性价比最高。
4.3 Q6_K:高保真中间档
- 6 位量化,官方定位 High Quality;
- 约 22 GB,适合 24 GB 显卡想榨出极限质量、或 32 GB 显卡追求大上下文的场景;
- 与 Q8_0 差距已不大,但省下的 5 GB 可以用来开更大上下文窗口。
4.4 Q8_0:近乎无损
- 8 位块量化,官方定位 Near Lossless;
- 与 FP16 基座相比质量损失在多数场景下不可感知;
- 体积约 27 GB,基本是"本地部署这个模型的天花板配置"。
4.5 imatrix 量化(i1-*):小显存的精度外挂
imatrix(Importance Matrix,重要性矩阵) 是 llama.cpp 生态里的进阶量化技术:先用一批校准文本让模型"暴露"哪些权重更关键,量化时对这些关键权重分配更高精度。
它带来的实际收益:
- ✅ 同体积下质量更好:
i1-Q4_K_M通常优于普通Q4_K_M; - ✅ 同质量下体积更小:16 GB 显存党可以多留 0.5~1 GB 给上下文;
- ✅ 仓库额外提供了 imatrix 校准文件,进阶用户可基于它自行复现或生成其他档位;
- ⚠️ 代价:imatrix 依赖校准数据分布。本模型是角色扮向场景,若你的使用场景与校准数据差异极大,收益会打折——但对多数用户无感知。
简单判断:显存 ≤ 16 GB,优先挑 i1- 开头的版本;显存 ≥ 24 GB,直接用 Q5_K_M / Q6_K / Q8_0 即可,是否需要 imatrix 版本差别不大。
五、选完之后:推荐采样参数
模型下载后,作者给出的官方推荐参数(来自 README.md):
| 参数 | 推荐值 |
|---|---|
| Top-P | 0.92 |
| Temperature | 1.0 |
| Freq Pen | 0 |
| Presence Pen | 0 |
另外,模型支持"思考模式",作者提示在 SillyTavern 中可通过 chat_template_kwargs: {"enable_thinking": true, "reasoning_effort": "medium"} 开启。开启思考后推理会更稳,但输出会更长、速度变慢,可按需开关。
六、常见问题(FAQ)
Q1:Q4_K_M 会不会明显"变笨"?
单轮对话基本无感,主要体现在超长对话中人设一致性略降。若你只跑 16 GB 显存,i1-Q4_K_M 是损失最小的选择。
Q2:为什么我没有看到 FP16 版本?
GGUF 仓库只发布量化版本。想要最高精度可下载 Q8_0,它已接近全精度表现。
Q3:A4B 的"快"体现在哪? 每个 token 只激活约 4B 参数,GPU 上生成速度接近 4B 小模型,而知识量接近 26B 大模型——这正是选它而不是普通 26B 稠密模型的理由。
Q4:v0.3 和以后版本量化能通用吗? 不能。量化文件与模型版本绑定,升级到 v1.0 后需要重新下载对应版本的 GGUF。官方也提示当前为小数据集训练的测试版,正式版发布后量化档位可能有调整。
七、一句话总结
24 GB 显存选
Q5_K_M(官方推荐);16 GB 显存选i1-Q4_K_M;32 GB 显存直接上Q8_0近乎无损。A4B 架构保证了无论哪档,生成都足够快。
本文文件均位于项目根目录,量化文件与 LICENSE.txt(Apache 2.0 许可及使用条款)一一对应,按需下载即可。