什么是消融去审查(Abliteration)?Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF如何用Heretic实现部分去审查

原创2026-11-08 18:06:262,278 阅读

什么是消融去审查(Abliteration)?Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF如何用Heretic实现部分去审查

如果你听说过模型"拒绝回答",那 Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF 就是针对这个问题的一个典型案例。它是基于 UkisAI 的 Swift 1.5 Qwen3.8-27B 模型,用 Heretic 工具做消融去审查(Abliteration) 后打包成的 llama.cpp GGUF 文件,属于"部分去审查(partially decensored)"构建——不是完全放开,而是有针对性地削弱拒绝行为,同时尽量保住模型原本的知识和推理能力。

什么是消融去审查(Abliteration)?

先说结论:Abliteration 就是"定向消融"——不训练、不微调,直接在权重矩阵上动刀。

  1. 找"拒绝方向":研究发现,大模型对"我该不该拒绝"的判断,在权重空间里大致对应一条(或每层各一条)特定方向。
  2. 沿该方向做消融:把注意力输出投影(attn.o_proj)和 MLP 下投影(mlp.down_proj)中沿"拒绝方向"的成分按比例减掉。
  3. 效果:模型"说不"的倾向被削弱,而知识、推理等与拒绝方向正交的能力基本保留。

好处是免训练、成本低、可复现;代价是可能引入"答非所问式回避",且不同模型对消融的敏感度差异很大。

为什么 Swift 1.5 比较难"破"?

Swift 1.5 对消融有很强的抵抗性。本次构建用 Heretic 1.4.0 的自动化搜索流程(见 README.md 的 "How it was made" 章节):

  • 在模型 4-bit 副本上跑 200 轮试验,用 TPE 优化器逐层搜索拒绝方向与消融权重;
  • 评估集用 Heretic 默认的 mlabonne/harmless_alpaca 与 mlabonne/harmful_behaviors;
  • 设置 response_prefix = "\n</think>\n\n",让 Heretic 评"答案"而不是评"思考过程";
  • 把"回避(dodge)"也算作拒绝——因为 Swift 消融后很少直接说"不",而是拐弯抹角(比如被问如何造炸弹,它给出造水气球教程)。

最终选中的第 19 号试验被合并进全精度权重:attn.o_proj 与 mlp.down_proj 分别按逐层权重做了定向消融。

实际去掉了多少?看数据 📊

作者在 100 条有害提示上做了双口径统计(README.md "How uncensored is it?" 一节):

版本 严格口径拒绝数 Heretic 默认口径拒绝数 相对原模型 KL 散度
Swift 1.5(原版) 99 98 0
本模型 80 36 0.082

怎么解读这两个口径?

  • 默认口径(36):Heretic 只把含 "I can't" 这类短语的回复计为拒绝,而 Swift 消融后多用"安全""伦理""预防"等话术回避,默认口径会把这些记成"成功"。
  • 严格口径(80):扩展了拒绝词表,把回避也算进去。

实际效果约为:原版拒绝的请求里,本模型大约能跟进 1/5。这是实打实的改变,但它不是完全无审查模型。KL 散度 0.082 则说明在普通提示上,它的输出分布与原模型依然很接近——普通用途的能力损耗有限。

通用能力与速度:消融的代价

基准成绩(在 IQ3_S 文件 + MTP 解码下用 llama.cpp 实测,脚本与原始输出见 evaluation/,汇总见 evaluation/scores.json):

基准 题量 本模型成绩
IFEval 541 92.98%(prompt 级严格)
MMLU-Pro 300 抽样 86.67%
GSM8K 250 抽样 97.60%

⚡ 速度方面要注意一点:MTP(多 token 预测头)是拿原模型的隐状态训练的,消融会扰动这些隐状态,投机解码接受率从约 68–85% 降到约 42%,RTX PRO 4500 上生成速度约 80 → 58 tok/s。如果你也觉得慢了,可试试 --spec-draft-n-max 2。

文件怎么选?三个量化档位

三个 GGUF 均量化自同一份消融后的权重,共用一个视觉投影文件:

文件 大小 说明
Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_S-mtp.gguf 12.12 GB 推荐,所有基准与速度数据都在此档实测
Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_XXS-mtp.gguf 10.44 GB 更小,未做速度实测
Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ2_S-mtp.gguf 9.61 GB 最小,用质量换体积
Swift-1.5-Qwen3.8-27B-heretic-mmproj-F16.gguf 0.93 GB 视觉投影器(mmproj),支持多模态

量化沿用 UkisAI 官方 GSQ-RCO 的逐张量分配表和 imatrix(IQ3_S、IQ3_XXS、IQ2_S 三档),866 个张量全部按分配表逐一校验过。另附一个可选的修补版聊天模板 Swift-1.5-Qwen3.8-27B-heretic-chat-template.jinja,可兼容 high/minimal 等非标准 reasoning 参数。

用 llama.cpp 快速启动 🚀

一条命令即可起服务(262K 上下文 + q8_0 KV 缓存 + 视觉,约 25 GB 显存):

llama-server \
  -m Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-IQ3_S-mtp.gguf \
  --mmproj Swift-1.5-Qwen3.8-27B-heretic-mmproj-F16.gguf \
  --jinja -ngl 99 -fa on \
  -c 262144 --cache-type-k q8_0 --cache-type-v q8_0 \
  --spec-type draft-mtp --spec-draft-n-max 3 \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0

不想用视觉就去掉 --mmproj;显存紧张就调小 -c。采样参数(temp 1.0 / top-p 0.95 / top-k 20)是 UkisAI 为 Swift 1.5 推荐的设置。

许可证与负责任使用 ⚖️

  • 本模型遵循 LICENSE(Swift Open License v1.0):年营收超过 100 万美元的组织商用需另购企业许可;基础模型 Qwen3.8-27B 为 Apache License 2.0,衍生关系与改动清单见 NOTICE。
  • 官方定位是研究、红队测试、创意写作和原模型拒绝会碍事的个人使用。
  • 提醒:去审查也可能让模型在自己不太懂的领域更"自信",幻觉风险仍在。你如何用它、以及它的输出,责任由你承担——请勿用于伤害他人或违法用途。

小结

Abliteration 是当前"免训练去审查"里最透明的一族技术:找到拒绝方向 → 定向消融 → 普通能力几乎无损。而本仓库给出的答案很诚实——Swift 1.5 抵抗性强,Heretic 只能做到部分去审查(严格口径 80/100,跟进率约 1/5),换来的是 KL 散度仅 0.082 的低扰动,以及 IFEval 92.98%、GSM8K 97.60% 的完整能力保持。如果你想要一个"少说教、会干活"的本地 27B 多模态模型,IQ3_S 这份 GGUF 是开箱即用的选择。

登录后查看全文
Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO-GGUF