如何让元素精准落位?flux-3-image-klein-pup-8bit边界框(bbox)结构化描述机制逐步详解
如何让元素精准落位?flux-3-image-klein-pup-8bit边界框(bbox)结构化描述机制逐步详解
你是否遇到过这样的困扰:提示词里明明写了"人在左、狗在右",AI 绘图时元素却总是随机漂移?破解之道就是边界框(bbox)结构化描述。本文将带你逐步看懂 flux-3-image-klein-pup-8bit——FLUX 3 Klein 提示词增强模型的 MLX 8 比特量化版——如何利用 bbox 元素表,把每个画面元素精确"钉"在画布指定位置。📍
🧩 1 分钟认识 flux-3-image-klein-pup-8bit:它是什么模型?
这个仓库是 black-forest-labs/flux-3-image-klein-pup):
| 项目 | 说明 |
|---|---|
| 模型底座 | Qwen3.5-9B 视觉语言微调模型(见 config.json 中 model_type: qwen3_5) |
| 量化规格 | 8-bit 仿射量化、group 64,体积约 9.8 GB |
| 核心功能 | 把短提示词(+ 最多 10 张参考图 + 可选 bbox)扩写成绘图模型需要的完整场景描述 |
| 运行框架 | MLXVLM(mlx-swift-lm,qwen3_5)或 Python mlx-vlm |
| 授权协议 | Apache-2.0 |
简单说:它是 FLUX 3 Image Klein 绘图模型的"提示词翻译官"——你写得越简短,它帮你规划得越具体;而当场景复杂时,它还会输出一张带边界框的元素清单,让元素精准落位。🎯
🎯 为什么元素需要"边界框"?bbox 结构化描述的价值
纯文字描述(t2i 模式)只能靠"frame-left / foreground / background"这类自然语言暗示位置,遇到多元素、强空间关系的画面就容易失控。bbox 机制的做法是:
输出一整行 = 全局描述段落 + 一个空格 + 一个 JSON 元素表,把每个元素用 0–1000 网格坐标框住。
文字负责"画面是什么",表格负责"元素在哪里",二者互为佐证,绘图模型解析时不再靠猜。这正是 system_prompts.json 中 t2i_bbox 提示词要求的核心格式。
第 1 步:选对提示模式——t2i_bbox 与 i2i_bbox 的区别
system_prompts.json 内置 4 套系统提示词,按任务形态选用:
| 键名 | 场景 | 是否带 bbox 表 |
|---|---|---|
t2i |
纯文生图 | 否,纯文字描述 |
t2i_bbox |
文生图 + 元素精确定位 | ✅ 元素表 |
i2i |
图生图编辑(最多 10 张参考图) | 否,纯文字指令 |
i2i_bbox |
图生图编辑 + 元素定位 | ✅ 元素表(含源/目标双框) |
需要精准落位时,选带 _bbox 的模式即可。
第 2 步:掌握 0–1000 坐标网格,精准框住元素
bbox 机制采用与分辨率无关的 0–1000 归一化网格,规则非常清晰:
- 坐标格式为
[y_min, x_min, y_max, x_max],注意 y 在前、x 在后,全部是 0–1000 的整数; - 原点位于左上角,越界会被裁剪到画布边界内(clamped);
- 网格会拉伸覆盖整个画布:若用户请求以
TARGET CANVAS: W:H开头,模型会按该宽高比构图; - 元素物理宽高比为 a 时,其横向跨度 ≈ 纵向跨度 × a × H/W,保证框的比例与现实物体一致;
- 文本块周围的框要留出 5–15 个单位的小边距。
一个 t2i_bbox 元素表示例:
[
{
"id": "person_1",
"bbox": [120, 40, 900, 380],
"desc": "A young man with fair skin and short brown hair, wearing a navy work jacket over a white t-shirt, holding a red leash."
},
{
"id": "dog_1",
"bbox": [420, 560, 940, 980],
"desc": "A medium-sized brown dog with floppy ears, sitting upright and looking up at the man."
},
{
"id": "En_Text_1",
"bbox": [80, 520, 150, 720],
"desc": "A vertical street sign with the text \"PARK\" in bold white sans-serif capitals on a green panel."
}
]
第 3 步:写好元素表——id、bbox、desc 三要素规范
t2i_bbox 表的每行按顺序包含三个键,规范要点:
- id:裸类名名词 + 序号,按"先左到右、再上到下"从 1 开始编号,如
person_1、dog_2;文本块用两字母语言码 +_Text_+ 序号,如En_Text_1;一个实体一行,id 全局唯一。 - bbox:如上所述的 4 个整数坐标,尺寸合理、贴近物体。
- desc:一段自包含的描述,以元素身份开头(不能写"the X"),写形状、材质、颜色、状态,但不写位置——位置由 bbox 负责;焦点人物要写最丰富的描述(族裔、性别、年龄段、肤色、发型、服饰、姿态、表情);文本行必须逐字转写原文并放入双引号。
同时,全局描述段落中要在首次提到每个元素时用尖括号引用其 id,例如:a wicker table <table_1> holding a tiered stand <stand_1>——每个表内 id 都必须被引用,且不能引用表外 id。
第 4 步:图像编辑场景——i2i_bbox 的五字段行结构
编辑任务(i2i_bbox)的表更精细,每行 5 个字段:id、from、src_bbox、tgt_bbox、desc:
| 字段 | 含义 |
|---|---|
from |
来自哪张参考图(ref_image_N),或 target(表示新创造的内容) |
src_bbox |
元素在源图中的框;全新元素为 null |
tgt_bbox |
元素在想象结果中的框;被移除的元素为 null |
src_bbox_1stage / tgt_bbox_1stage |
可选,一阶段初估框 |
规则要点:被移动或改尺寸的物体两个框都要填;新增物体的尺寸要参照画面中同类物体;段落结尾要带一句"其余内容保持与源图完全一致"的收束语。参考图按顺序以 ref_image_0、ref_image_1… 指代,跨图取材时写作 the cup <cup_1> from <ref_image_1>。
如何保证"落位"可靠:一致性校验与输出控制
README 中的实测数据说明了这套机制的严谨性:与官方参考实现对齐校验中,box 规划与一致性核对 13/13 用例全部精确,1 张参考图的编辑描述与官方结果逐词一致。几个关键配套细节:
- 解码参数:贪心解码;文生图 presence penalty 1.5、编辑为 0;
enable_thinking=False;最多生成 3,584 个 token; - 参考图预处理:白底合成 alpha,LANCZOS 缩放到 1 张 1MP、2 张 724²、3–10 张 512²,边长为 32 的倍数,再经 JPEG q92 往返;
- 输出纯净:只输出"段落 + 空格 + JSON 数组"一行,禁止 Markdown 围栏、注释、拒答,保证下游可直接解析;
- 量化档位:8-bit 版在 M5 Max 上常驻约 10.4 GB,引号文本保留与框表完整性均满分(20/20 引文、2/2 框表)。
🚀 快速上手:在 Apple Silicon 上跑通 bbox 机制
-
克隆仓库(约 9.8 GB,建议预留磁盘空间):
git clone https://gitcode.com/hf_mirrors/mlx-community/flux-3-image-klein-pup-8bit -
使用
mlx-vlm(Python)或 mlx-swift-lm 加载,模型类型为qwen3_5,处理器类为Qwen3VLProcessor(见 tokenizer_config.json); -
按任务选择 system_prompts.json 中对应提示词,需要元素定位时务必选
_bbox模式; -
解析输出行:空格前是全局描述,空格后用 JSON 解析元素表,取
bbox换算到实际画布像素(乘以 W/1000、H/1000)即可。
✅ 总结:3 句话回顾 bbox 结构化描述机制
- 一行两件套:描述段落 + JSON 元素表,文字定内容、坐标定位置;
- 0–1000 网格:
[y_min, x_min, y_max, x_max]整数坐标,左上角原点,与分辨率解耦; - 双模式覆盖:
t2i_bbox管生成、i2i_bbox管编辑(源框 + 目标框),配合贪心解码与严格的 id 引用规则,让每个元素都能精准落位。
理解并善用这套机制后,无论是海报排版、多人合影构图还是精确的图像编辑,你的画面元素都将各就各位。✨