Dark Scarlett GGUF量化怎么选:Q4_K_M、Q5_K_M、Q6_K、Q8_0与imatrix量化对比指南

原创2026-11-10 17:39:271,658 阅读

Dark Scarlett GGUF量化怎么选:Q4_K_M、Q5_K_M、Q6_K、Q8_0与imatrix量化对比指南

Dark Scarlett GGUF 量化版本一共有 10 个文件可选,但新手最容易懵:Q4_K_M、Q5_K_M、Q6_K、Q8_0 和 i1- 开头的 imatrix 量化到底差在哪?本文用一张对照表 + 按显存分档的选法,帮你 1 分钟选出最适合自己的 Dark Scarlett v0.3 GGUF 模型。

一、先认识一下 Dark Scarlett v0.3 模型

在选量化前,先了解这个模型的"底子",这直接决定了它跑起来需要什么配置:

项目 说明
基座模型 gemma-4-26B-A4B-it(微调自该基座)
架构特点 MoE 混合专家:总参数 26B,但每次推理只激活约 4B
训练方式 LoRA(rank=32,2 个 epoch,仅文本层)
定位 沉浸式角色扮演(Roleplay)对话模型
版本状态 v0.3 BETA,官方标注为测试版本
许可证 Apache 2.0,见 LICENSE.txt

⚠️ 内容提示:该模型面向 18+ 成人内容,官方 README 明确声明"Intended for mature audiences only",请合规使用。

A4B 这个名字是关键:它意味着模型虽然总参数 26B(显存需求不小),但每个 token 只激活 4B 参数,生成速度远快于同体积的稠密模型,这也是 26B 级模型在消费级显卡上能流畅跑起来的原因。

更多细节可参考项目说明文件 README.md。

二、10 个量化文件全家福:一张表看懂

仓库内所有量化文件及官方定位如下:

量化文件 官方定位 精度等级 近似体积
Q4_K_M Decent Quality ★★★★☆ ~16 GB
Q5_K_M Recommended(推荐) ★★★★☆ ~19 GB
Q6_K High Quality ★★★★★ ~22 GB
Q8_0 Near Lossless(近乎无损) ★★★★★ ~27 GB
i1-Q4_0 imatrix 版 Q4_0 ★★★☆☆ ~15.5 GB
i1-Q4_K_M imatrix 版 Q4_K_M ★★★☆☆ ~15 GB
i1-IQ4_XS imatrix 版 IQ4_XS(最小) ★★☆☆☆ ~14.5 GB
i1-Q5_K_M imatrix 版 Q5_K_M ★★★☆☆ ~18.5 GB
i1-Q6_K imatrix 版 Q6_K ★★★☆☆ ~21 GB
imatrix 校准矩阵文件 — 小文件

📌 体积为按 26B 参数规模的常规估算值,仅供评估显存占用参考。

可以看到,命名规律其实很简单:

  • 前缀 i1- = 基于 imatrix(重要性矩阵)校准的量化,同档位下体积更小、精度损失更少;
  • 后缀 Q4_Q5_Q6_Q8 = 权重的平均位宽,数字越小文件越小、质量损失越大;
  • _K_M、_K = K-quant 分块量化方案;_0 = 块级均匀量化;
  • IQ4_XS 中的 I = importance-matrix aware 的超压缩格式。

仓库里单独提供的 Dark-Scarlett-v0.3-26B-A4B-imatrix.gguf 是 imatrix 校准矩阵本身,一般用户不需要下载它,只有当你想自己重新量化模型时才会用到。

三、按显存快速选量化(新手直接照抄)

结合 A4B 的显存占用特性,推荐方案如下:

你的显存 首选量化 备选 体验预期
16 GB i1-Q4_K_M 或 Q4_K_M i1-Q4_0 可用,建议上下文开 8K~16K
24 GB(RTX 3090/4090) Q5_K_M(官方推荐) Q6_K / i1-Q5_K_M 流畅,质量与体积平衡最佳
32 GB(RTX 4090 D2D / A6000) Q8_0 Q6_K 接近全精度,角色一致性最好
12 GB 或更低 i1-IQ4_XS + 部分 CPU 卸载 — 能跑但速度依赖内存带宽

💡 核心结论:

  1. 只选一个 → 直接拿 Q5_K_M,这是作者在 README.md 里标为 Recommended 的版本;
  2. 显存紧张(16 GB) → 优先 i1-Q4_K_M,imatrix 版本比裸 Q4_K_M 更省且更稳;
  3. 显存富裕(32 GB+) → Q8_0 近乎无损,对角色扮演这种"人设一致性很重要"的场景收益明显。

为什么角色扮演模型更吃量化精度?

普通问答模型量化到 Q4 可能就够用了,但角色扮演模型依赖长对话中性格、口癖、称谓的一致性。位宽降低后,模型"忘记"人设、突然换说话风格的概率会上升。因此本文的整体建议是:在显存允许的前提下,尽量往上选一档。

四、各量化档位详解

4.1 Q4_K_M:16 GB 显存的守门员

  • 4 位 K-quant 的中档方案(M = medium 混合粒度);
  • 体积约 16 GB,是 26B 模型上显存的"最低可用线"之一;
  • 官方定位为 Decent Quality,日常对话无碍,长程角色扮演中人设漂移概率略高。

4.2 Q5_K_M:官方推荐档

  • 5 位量化,比 Q4_K_M 多约 3 GB 体积,换来越明显的细节保持;
  • 作者将其标为 Recommended,24 GB 显存用户的默认答案;
  • 质量损失感知明显小于从 Q4 到 Q5 的体积增长,性价比最高。

4.3 Q6_K:高保真中间档

  • 6 位量化,官方定位 High Quality;
  • 约 22 GB,适合 24 GB 显卡想榨出极限质量、或 32 GB 显卡追求大上下文的场景;
  • 与 Q8_0 差距已不大,但省下的 5 GB 可以用来开更大上下文窗口。

4.4 Q8_0:近乎无损

  • 8 位块量化,官方定位 Near Lossless;
  • 与 FP16 基座相比质量损失在多数场景下不可感知;
  • 体积约 27 GB,基本是"本地部署这个模型的天花板配置"。

4.5 imatrix 量化(i1-*):小显存的精度外挂

imatrix(Importance Matrix,重要性矩阵) 是 llama.cpp 生态里的进阶量化技术:先用一批校准文本让模型"暴露"哪些权重更关键,量化时对这些关键权重分配更高精度。

它带来的实际收益:

  • ✅ 同体积下质量更好:i1-Q4_K_M 通常优于普通 Q4_K_M;
  • ✅ 同质量下体积更小:16 GB 显存党可以多留 0.5~1 GB 给上下文;
  • ✅ 仓库额外提供了 imatrix 校准文件,进阶用户可基于它自行复现或生成其他档位;
  • ⚠️ 代价:imatrix 依赖校准数据分布。本模型是角色扮向场景,若你的使用场景与校准数据差异极大,收益会打折——但对多数用户无感知。

简单判断:显存 ≤ 16 GB,优先挑 i1- 开头的版本;显存 ≥ 24 GB,直接用 Q5_K_M / Q6_K / Q8_0 即可,是否需要 imatrix 版本差别不大。

五、选完之后:推荐采样参数

模型下载后,作者给出的官方推荐参数(来自 README.md):

参数 推荐值
Top-P 0.92
Temperature 1.0
Freq Pen 0
Presence Pen 0

另外,模型支持"思考模式",作者提示在 SillyTavern 中可通过 chat_template_kwargs: {"enable_thinking": true, "reasoning_effort": "medium"} 开启。开启思考后推理会更稳,但输出会更长、速度变慢,可按需开关。

六、常见问题(FAQ)

Q1:Q4_K_M 会不会明显"变笨"? 单轮对话基本无感,主要体现在超长对话中人设一致性略降。若你只跑 16 GB 显存,i1-Q4_K_M 是损失最小的选择。

Q2:为什么我没有看到 FP16 版本? GGUF 仓库只发布量化版本。想要最高精度可下载 Q8_0,它已接近全精度表现。

Q3:A4B 的"快"体现在哪? 每个 token 只激活约 4B 参数,GPU 上生成速度接近 4B 小模型,而知识量接近 26B 大模型——这正是选它而不是普通 26B 稠密模型的理由。

Q4:v0.3 和以后版本量化能通用吗? 不能。量化文件与模型版本绑定,升级到 v1.0 后需要重新下载对应版本的 GGUF。官方也提示当前为小数据集训练的测试版,正式版发布后量化档位可能有调整。

七、一句话总结

24 GB 显存选 Q5_K_M(官方推荐);16 GB 显存选 i1-Q4_K_M;32 GB 显存直接上 Q8_0 近乎无损。A4B 架构保证了无论哪档,生成都足够快。

本文文件均位于项目根目录,量化文件与 LICENSE.txt(Apache 2.0 许可及使用条款)一一对应,按需下载即可。

登录后查看全文
Dark-Scarlett-v0.3-26B-A4B-GGUF