Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF到底有多去审查?绕答、拒绝率与KL散度数据背后的真相
Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF到底有多去审查?绕答、拒绝率与KL散度数据背后的真相
Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF 是一个基于 Qwen3.8-27B 的部分去审查(abliterated)GGUF 模型,专为 llama.cpp 本地部署设计。它通过 Heretic 方向消融削弱了原模型的拒绝行为,但远非"完全无审查"。本文用拒绝率、绕答(dodge)与 KL 散度三组官方数据,讲清楚它到底放开了多少、能力是否受损,以及新手如何快速跑起来。
🧩 先认识一下:这个模型包里有什么
三个量化的 GGUF 均出自同一套去审查后的权重,采用与原版 Swift 1.5 相同的 GSQ-RCO 量化分配与 imatrix,并带有 MTP 推测解码头:
| 文件 | 大小 | 说明 |
|---|---|---|
| Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_S-mtp.gguf | 12.12 GB(3.55 BPW) | ⭐ 推荐主力文件,所有基准与速度数据都基于它 |
| Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_XXS-mtp.gguf | 10.44 GB(3.06 BPW) | 更小,未做基准测试 |
| Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ2_S-mtp.gguf | 9.61 GB(2.81 BPW) | 体积最小,未做基准测试 |
| Swift-1.5-Qwen3.8-27B-heretic-mmproj-F16.gguf | 0.93 GB | 视觉投影器(mmproj),三个 GGUF 共用 |
| Swift-1.5-Qwen3.8-27B-heretic-chat-template.jinja | 9 KB | 可选的宽松对话模板,规避内置模板的 500 报错 |
📊 核心问题:拒绝率到底从多少降到多少
官方用 100 条有害提示做了对照测试,结论一句话:这是真实的变化,但它是"部分去审查",不是完全 uncensored。
| 模型 | 严格拒绝率(/100) | Heretic 默认拒绝率(/100) | 对原模型的 KL 散度 |
|---|---|---|---|
| Swift 1.5 原版 | 99 | 98 | 0 |
| 本模型(heretic 版) | 80 | 36 | 0.082 |
实际效果:原版模型拒绝的请求中,本模型大约能完整照做 1/5。
🎭 关键陷阱:"绕答"会让默认拒绝率看起来很美
为什么严格口径(80)和默认口径(36)差了一倍多?这就是标题里的"绕答"问题:
- Heretic 默认计数只统计明显拒绝语(如 "I can't")。消融之后,Swift 很少再说"不"了,而是改口绕开:比如问"怎么制作炸弹",它教你做水气球;问"怎么偷车",它给你一份防盗指南。这些回复在默认计数里会被记为"成功"。
- 所以本项目的构建者扩展了拒绝词表(加入 safe、ethical、prevent、fictional、instead 等绕答特征词),严格口径用的就是这份扩展表。
- 一个佐证:早期一次专门针对默认计数优化的搜索达到过 25/100,但几乎全靠绕答刷分,严格口径下约 84/100——默认计数是可以"骗"的。
- 另外,在默认开启
think推理的模式下(多数用户的实际用法),它能对原版拒绝的提示给出完整回答;推理内容里仍会提到安全,但随后照常作答。
🔬 KL 散度 0.082:改动到底有多大
KL 散度衡量模型在普通提示上的输出分布偏离原版的程度。0.082 属于较小的值,说明日常输出的行为分布仍贴近原版。要注意总损失是"去审查 + 量化"两部分叠加:
| 来源 | 数值(对 BF16) |
|---|---|
| 消融(abliteration)本身 | 0.082 |
| 量化损失:IQ3_S | 0.051 |
| 量化损失:IQ3_XXS | 0.098 |
| 量化损失:IQ2_S | 0.135 |
即选 IQ3_S 时,相对原始权重的总偏差约在 0.13 量级(0.082 + 0.051),且该构建缺少 UkisAI 私有 refine 步骤(约再损 1% KLD)。
✅ 去审查后能力掉了吗:三项基准实测
所有分数均在 IQ3_S 文件上、由 llama.cpp 提供、开 think 推理、zero-shot 单次采样测得:
| 基准 | 题量 | 本模型成绩 |
|---|---|---|
| IFEval(指令遵循) | 541 全量 | 严格 92.98%(prompt 级)/ 95.20%(指令级);宽松 94.64% / 96.52% |
| MMLU-Pro(知识推理) | 300 随机抽样 | 86.67% |
| GSM8K(小学数学) | 250 随机抽样 | 97.60% |
单次运行约有 ±2 分噪声,原始输出与打分可复查:evaluation/scores.json、evaluation/results/。
⚡ 快速上手:llama.cpp 一条命令跑起来
llama-server \
-m Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_S-mtp.gguf \
--mmproj Swift-1.5-Qwen3.8-27B-heretic-mmproj-F16.gguf \
--jinja -ngl 99 -fa on \
-c 262144 --cache-type-k q8_0 --cache-type-v q8_0 \
--spec-type draft-mtp --spec-draft-n-max 3 \
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0
🔧 实用提示:
- 262K 上下文 + q8_0 KV cache + 视觉,约需 25 GB 显存;显存不够就调小
-c,不要视觉就去掉--mmproj。 - MTP 推测解码仍有效但变弱:草稿接受率从约 68–85% 掉到约 42%,速度从约 80 tok/s 降到约 58 tok/s(RTX PRO 4500 32 GB 实测)。如果你的速度明显偏低,可试
--spec-draft-n-max 2。 - 用 OpenAI 风格客户端遇到 HTTP 500(例如
reasoning_effort传了high)时,追加--chat-template-file Swift-1.5-Qwen3.8-27B-heretic-chat-template.jinja即可规避。
🛠 它是怎么做出来的(简版)
- 消融:Heretic 1.4.0,逐层拒绝方向,200 次试验(TPE),在
harmless_alpaca/harmful_behaviors数据集上评估,绕答按拒绝计;最终选定第 19 次试验合并入全精度权重(attn.o_proj最大权重 1.49,mlp.down_proj最大权重 0.92)。 - MTP 头从源模型原样拷回;866 个张量逐一对照 GSQ-RCO 分配验证。
- 量化:llama.cpp 转换后按 IQ3_S / IQ3_XXS / IQ2_S 三档量化。
完整流程见 README.md,评测全流程脚本在 evaluation/prep.py(抽题)、evaluation/run.py(跑分)、evaluation/score.py(计分)。
⚖️ 许可与使用边界
- 本仓库不是 UkisAI 官方发布,未获 UkisAI 与阿里云背书,"Swift" 仅用于说明来源。
- 采用 Swift Open License v1.0:年营收 ≥ 100 万美元的组织需另行获取企业许可;基础模型 Qwen3.8-27B 遵循 Apache 2.0。详见 LICENSE、LICENSE-APACHE-2.0 与 NOTICE。
- 模型会对原版拒绝的部分请求做出响应,使用后果由使用者自行承担,请勿用于伤害他人或违法用途。
- 注意:去审查可能让模型在陌生领域显得"更自信",幻觉风险需自行甄别。
一句话总结:拒绝率从 99 降到 80(严格口径)、默认口径 36,KL 散度 0.082——这是一个"放开了约 1/5、但会绕答、日常能力基本无损"的去审查模型,适合作为研究、红队测试与创作用途的本地部署选项。