什么是消融去审查(Abliteration)?Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF如何用Heretic实现部分去审查
什么是消融去审查(Abliteration)?Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF如何用Heretic实现部分去审查
如果你听说过模型"拒绝回答",那 Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF 就是针对这个问题的一个典型案例。它是基于 UkisAI 的 Swift 1.5 Qwen3.8-27B 模型,用 Heretic 工具做消融去审查(Abliteration) 后打包成的 llama.cpp GGUF 文件,属于"部分去审查(partially decensored)"构建——不是完全放开,而是有针对性地削弱拒绝行为,同时尽量保住模型原本的知识和推理能力。
什么是消融去审查(Abliteration)?
先说结论:Abliteration 就是"定向消融"——不训练、不微调,直接在权重矩阵上动刀。
- 找"拒绝方向":研究发现,大模型对"我该不该拒绝"的判断,在权重空间里大致对应一条(或每层各一条)特定方向。
- 沿该方向做消融:把注意力输出投影(
attn.o_proj)和 MLP 下投影(mlp.down_proj)中沿"拒绝方向"的成分按比例减掉。 - 效果:模型"说不"的倾向被削弱,而知识、推理等与拒绝方向正交的能力基本保留。
好处是免训练、成本低、可复现;代价是可能引入"答非所问式回避",且不同模型对消融的敏感度差异很大。
为什么 Swift 1.5 比较难"破"?
Swift 1.5 对消融有很强的抵抗性。本次构建用 Heretic 1.4.0 的自动化搜索流程(见 README.md 的 "How it was made" 章节):
- 在模型 4-bit 副本上跑 200 轮试验,用 TPE 优化器逐层搜索拒绝方向与消融权重;
- 评估集用 Heretic 默认的
mlabonne/harmless_alpaca与mlabonne/harmful_behaviors; - 设置
response_prefix = "\n</think>\n\n",让 Heretic 评"答案"而不是评"思考过程"; - 把"回避(dodge)"也算作拒绝——因为 Swift 消融后很少直接说"不",而是拐弯抹角(比如被问如何造炸弹,它给出造水气球教程)。
最终选中的第 19 号试验被合并进全精度权重:attn.o_proj 与 mlp.down_proj 分别按逐层权重做了定向消融。
实际去掉了多少?看数据 📊
作者在 100 条有害提示上做了双口径统计(README.md "How uncensored is it?" 一节):
| 版本 | 严格口径拒绝数 | Heretic 默认口径拒绝数 | 相对原模型 KL 散度 |
|---|---|---|---|
| Swift 1.5(原版) | 99 | 98 | 0 |
| 本模型 | 80 | 36 | 0.082 |
怎么解读这两个口径?
- 默认口径(36):Heretic 只把含 "I can't" 这类短语的回复计为拒绝,而 Swift 消融后多用"安全""伦理""预防"等话术回避,默认口径会把这些记成"成功"。
- 严格口径(80):扩展了拒绝词表,把回避也算进去。
实际效果约为:原版拒绝的请求里,本模型大约能跟进 1/5。这是实打实的改变,但它不是完全无审查模型。KL 散度 0.082 则说明在普通提示上,它的输出分布与原模型依然很接近——普通用途的能力损耗有限。
通用能力与速度:消融的代价
基准成绩(在 IQ3_S 文件 + MTP 解码下用 llama.cpp 实测,脚本与原始输出见 evaluation/,汇总见 evaluation/scores.json):
| 基准 | 题量 | 本模型成绩 |
|---|---|---|
| IFEval | 541 | 92.98%(prompt 级严格) |
| MMLU-Pro | 300 抽样 | 86.67% |
| GSM8K | 250 抽样 | 97.60% |
⚡ 速度方面要注意一点:MTP(多 token 预测头)是拿原模型的隐状态训练的,消融会扰动这些隐状态,投机解码接受率从约 68–85% 降到约 42%,RTX PRO 4500 上生成速度约 80 → 58 tok/s。如果你也觉得慢了,可试试 --spec-draft-n-max 2。
文件怎么选?三个量化档位
三个 GGUF 均量化自同一份消融后的权重,共用一个视觉投影文件:
| 文件 | 大小 | 说明 |
|---|---|---|
| Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_S-mtp.gguf | 12.12 GB | 推荐,所有基准与速度数据都在此档实测 |
| Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_XXS-mtp.gguf | 10.44 GB | 更小,未做速度实测 |
| Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ2_S-mtp.gguf | 9.61 GB | 最小,用质量换体积 |
| Swift-1.5-Qwen3.8-27B-heretic-mmproj-F16.gguf | 0.93 GB | 视觉投影器(mmproj),支持多模态 |
量化沿用 UkisAI 官方 GSQ-RCO 的逐张量分配表和 imatrix(IQ3_S、IQ3_XXS、IQ2_S 三档),866 个张量全部按分配表逐一校验过。另附一个可选的修补版聊天模板 Swift-1.5-Qwen3.8-27B-heretic-chat-template.jinja,可兼容 high/minimal 等非标准 reasoning 参数。
用 llama.cpp 快速启动 🚀
一条命令即可起服务(262K 上下文 + q8_0 KV 缓存 + 视觉,约 25 GB 显存):
llama-server \
-m Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_S-mtp.gguf \
--mmproj Swift-1.5-Qwen3.8-27B-heretic-mmproj-F16.gguf \
--jinja -ngl 99 -fa on \
-c 262144 --cache-type-k q8_0 --cache-type-v q8_0 \
--spec-type draft-mtp --spec-draft-n-max 3 \
--temp 1.0 --top-p 0.95 --top-k 20 --min-p 0
不想用视觉就去掉 --mmproj;显存紧张就调小 -c。采样参数(temp 1.0 / top-p 0.95 / top-k 20)是 UkisAI 为 Swift 1.5 推荐的设置。
许可证与负责任使用 ⚖️
- 本模型遵循 LICENSE(Swift Open License v1.0):年营收超过 100 万美元的组织商用需另购企业许可;基础模型 Qwen3.8-27B 为 Apache License 2.0,衍生关系与改动清单见 NOTICE。
- 官方定位是研究、红队测试、创意写作和原模型拒绝会碍事的个人使用。
- 提醒:去审查也可能让模型在自己不太懂的领域更"自信",幻觉风险仍在。你如何用它、以及它的输出,责任由你承担——请勿用于伤害他人或违法用途。
小结
Abliteration 是当前"免训练去审查"里最透明的一族技术:找到拒绝方向 → 定向消融 → 普通能力几乎无损。而本仓库给出的答案很诚实——Swift 1.5 抵抗性强,Heretic 只能做到部分去审查(严格口径 80/100,跟进率约 1/5),换来的是 KL 散度仅 0.082 的低扰动,以及 IFEval 92.98%、GSM8K 97.60% 的完整能力保持。如果你想要一个"少说教、会干活"的本地 27B 多模态模型,IQ3_S 这份 GGUF 是开箱即用的选择。