视觉投影器的真相:mmproj为何与原始视觉塔逐位一致——Qwen-Image-2.1-PE-I2I-Heretic-GGUF深度解析
视觉投影器的真相:mmproj为何与原始视觉塔逐位一致——Qwen-Image-2.1-PE-I2I-Heretic-GGUF深度解析
如果你正在寻找一个能把模糊修图指令变成专业提示词的多模态模型,Qwen-Image-2.1-PE-I2I-Heretic-GGUF 正是为此而生。它基于 Qwen3.5-VL 9B 微调,接收一张或多张输入图片加上一句含糊的编辑指令,重写为精确、可直接执行的图像编辑提示词;同时通过 Heretic 方向消融降低了模型的"拒绝回答"倾向。这个 llama.cpp 构建完整包含语言模型 GGUF 与视觉投影器 mmproj,纯文本与"图片+文本"编辑均可运行。
而本文要回答一个更硬核的问题:为什么去审查化(abliteration)之后,视觉投影器 mmproj 竟与原始视觉塔逐位一致? 下面带你一层层揭开真相。
一分钟认识:这个模型是做什么的
先快速过一遍项目定位,方便后续理解:
- 前身:Qwen/Qwen-Image-2.1-PE-I2I 的社区衍生版,一个专精"图像编辑提示词重写"的微调模型
- 改造:用 Heretic 的方向性消融(directional ablation)削弱拒绝行为,取"低损伤平衡点"(约 5/100 拒绝率,KL 损伤约 0.037)
- 形态:llama.cpp 官方构建,语言模型提供 Q4_K_M / Q6_K / Q8_0 三种量化,外加 bf16 精度的视觉投影器,完整支持多模态
📌 它不直接生成图片,而是 Qwen-Image-2.1 工作流里的"提示词增强器":你给出模糊意图,它输出可被下游编辑模型精确执行的指令 JSON。
mmproj 是什么:多模态管道的"翻译官"
对新手来说,mmproj 这个名字可能很陌生。它是 llama.cpp 中的视觉投影器文件(multi-modal projector),在多模态推理管道里承担"翻译官"角色:
- 视觉塔(Vision Tower):把输入图片编码成一串视觉特征
- 投影器(Projector):把这串特征"投影"进语言模型的嵌入空间,使其变成语言模型能理解的"视觉 token"
- 语言模型(Language Model):接收视觉 token + 文本 token,生成最终输出
在 README.md 中,项目方特别强调:
The vision tower was not touched by the ablation, so the mmproj is bit-for-bit the original vision encoder — only the language model's refusal direction was ablated.
(视觉塔未被消融触碰,因此 mmproj 与原始视觉编码器逐位一致——只有语言模型的拒绝方向被消融。)
对应到仓库文件,就是这份 bf16 精度的视觉投影器:pe_i2i_heretic.mmproj-bf16.gguf。
逐位一致的真相:消融是"外科手术",而非"全面改造"
为什么去审查化后 mmproj 会原封不动?关键在于 Heretic 消融的作用机制:
- 方向消融只更新语言模型的权重:沿着从文本拒绝样本中学到的"拒绝方向"对权重做定向修正
- 这个"拒绝方向"完全由文本通道的拒绝行为定义,视觉编码器从未参与该方向的构建
- 于是视觉塔(即 mmproj 内含的视觉编码器权重)一个字节都没有被改动——所以逐位一致
更深层的洞察在于:"拒绝"是一种生成行为,而非感知行为。 即使是"图片+敏感指令"触发的拒绝,也发生在语言模型的生成阶段——原模型面对图片通道会输出"软拒绝":JSON 结构完好,内容里却悄悄写下"指令无法执行,输入保持原样"。视觉编码器只负责"看懂图","要不要执行"的决定权在语言模型手里。
这也解答了一个看似矛盾的现象:
视觉塔没动,为什么图片通道的去审查化依然生效?
因为被修改的是语言模型——图片经投影器变成视觉 token 后,"是否拒绝"的决策依然由(已被消融的)语言模型作出。README.md 中的跨模态验证实验证实了这一点:
| 通道 | 原始基座模型 | 本构建(Heretic) |
|---|---|---|
| 纯文本敏感指令 | 轻度配合,强指令拒绝 | 8/8 类别配合 |
| 图片 + 敏感指令 | 软拒绝 / 自动净化 | 忠实执行编辑 |
而在中性编辑任务上,本构建的重写质量(长度、细节保留清单、图中文字保真)与原模型基本一致——低损伤平衡点确实守住了改写能力。
实操指南:本地一键跑通多模态提示词重写
1. 文件清单与选型
| 文件 | 说明 |
|---|---|
| pe_i2i_heretic-Q4_K_M.gguf | 语言模型 Q4_K_M(嵌入/输出张量保留 Q6_K)— 5.89 GB,显存友好之选 |
| pe_i2i_heretic-Q6_K.gguf | 语言模型 Q6_K — 7.61 GB,质量与体积折中 |
| pe_i2i_heretic-Q8_0.gguf | 语言模型 Q8_0,近无损 — 9.53 GB,质量优先 |
| pe_i2i_heretic.mmproj-bf16.gguf | 视觉投影器(mmproj),bf16 精度 |
| system_prompt.txt | 必读必带:18 KB 输出契约(结构、语气、JSON 格式) |
| LICENSE | Qwen Research License,仅限非商业用途 |
2. 启动命令
llama.cpp 加载语言模型时必须通过 --mmproj 参数挂上视觉投影器,多模态能力才完整:
llama-server -m pe_i2i_heretic-Q4_K_M.gguf \
--mmproj pe_i2i_heretic.mmproj-bf16.gguf \
-c 16384 --jinja
3. 调用三要点
- 系统提示词不能省:把 system_prompt.txt 的完整内容作为 system message 发送——模型离开它就"废了",输出结构、JSON 字段(
rewritten_prompt/wh_ratio/ratio_follow)全靠它约束 - 图片走 user 轮次:把输入图作为
image_url放在用户消息里;多图时模型会以<image1>、<image2>标签引用 - 给足 max_tokens:模型会先在一个
think块中推理再输出 JSON,建议 4k–6k tokens 以防截断
逐位一致意味着什么:三个实用推论
- 行为零影响可互换:mmproj 与原版视觉编码器逐位相同,用它替换官方原始版本的投影器文件,行为不会有差异
- 视觉质量不受去审查化波及:所有"损伤"都集中在语言模型侧的 KL 散度上,图片编码保真度由原版视觉塔保证
- 可自校验:拿到文件后可自行计算哈希,与原始视觉编码器比对——一致即说明管道未被二次改动
总结与使用须知
mmproj 与原始视觉塔逐位一致的"真相",一句话概括:拒绝是语言模型的生成行为,所以消融只动语言模型;视觉塔从头到尾没被碰过。 这是方向消融"外科手术式"精准性的直接体现——既让文本与图片两条通道同时生效,又不牺牲视觉编码质量。
⚠️ 最后提醒:本项目遵循 Qwen Research License,仅限非商业用途,商用需另行向 Qwen 申请授权;且项目与 Alibaba / Qwen 官方无隶属或背书关系。把它当作研究与个人学习工具来用,才是正确的打开方式。