如何让元素精准落位?flux-3-image-klein-pup-8bit边界框(bbox)结构化描述机制逐步详解

原创2026-10-19 15:07:412,158 阅读
文章标签:人工智能大模型多模态媒体生成提示工程

如何让元素精准落位?flux-3-image-klein-pup-8bit边界框(bbox)结构化描述机制逐步详解

你是否遇到过这样的困扰:提示词里明明写了"人在左、狗在右",AI 绘图时元素却总是随机漂移?破解之道就是边界框(bbox)结构化描述。本文将带你逐步看懂 flux-3-image-klein-pup-8bit——FLUX 3 Klein 提示词增强模型的 MLX 8 比特量化版——如何利用 bbox 元素表,把每个画面元素精确"钉"在画布指定位置。📍

🧩 1 分钟认识 flux-3-image-klein-pup-8bit:它是什么模型?

这个仓库是 black-forest-labs/flux-3-image-klein-pup):

项目 说明
模型底座 Qwen3.5-9B 视觉语言微调模型(见 config.json 中 model_type: qwen3_5)
量化规格 8-bit 仿射量化、group 64,体积约 9.8 GB
核心功能 把短提示词(+ 最多 10 张参考图 + 可选 bbox)扩写成绘图模型需要的完整场景描述
运行框架 MLXVLM(mlx-swift-lm,qwen3_5)或 Python mlx-vlm
授权协议 Apache-2.0

简单说:它是 FLUX 3 Image Klein 绘图模型的"提示词翻译官"——你写得越简短,它帮你规划得越具体;而当场景复杂时,它还会输出一张带边界框的元素清单,让元素精准落位。🎯

🎯 为什么元素需要"边界框"?bbox 结构化描述的价值

纯文字描述(t2i 模式)只能靠"frame-left / foreground / background"这类自然语言暗示位置,遇到多元素、强空间关系的画面就容易失控。bbox 机制的做法是:

输出一整行 = 全局描述段落 + 一个空格 + 一个 JSON 元素表,把每个元素用 0–1000 网格坐标框住。

文字负责"画面是什么",表格负责"元素在哪里",二者互为佐证,绘图模型解析时不再靠猜。这正是 system_prompts.json 中 t2i_bbox 提示词要求的核心格式。

第 1 步:选对提示模式——t2i_bbox 与 i2i_bbox 的区别

system_prompts.json 内置 4 套系统提示词,按任务形态选用:

键名 场景 是否带 bbox 表
t2i 纯文生图 否,纯文字描述
t2i_bbox 文生图 + 元素精确定位 ✅ 元素表
i2i 图生图编辑(最多 10 张参考图) 否,纯文字指令
i2i_bbox 图生图编辑 + 元素定位 ✅ 元素表(含源/目标双框)

需要精准落位时,选带 _bbox 的模式即可。

第 2 步:掌握 0–1000 坐标网格,精准框住元素

bbox 机制采用与分辨率无关的 0–1000 归一化网格,规则非常清晰:

  • 坐标格式为 [y_min, x_min, y_max, x_max],注意 y 在前、x 在后,全部是 0–1000 的整数;
  • 原点位于左上角,越界会被裁剪到画布边界内(clamped);
  • 网格会拉伸覆盖整个画布:若用户请求以 TARGET CANVAS: W:H 开头,模型会按该宽高比构图;
  • 元素物理宽高比为 a 时,其横向跨度 ≈ 纵向跨度 × a × H/W,保证框的比例与现实物体一致;
  • 文本块周围的框要留出 5–15 个单位的小边距。

一个 t2i_bbox 元素表示例:

[
  {
    "id": "person_1",
    "bbox": [120, 40, 900, 380],
    "desc": "A young man with fair skin and short brown hair, wearing a navy work jacket over a white t-shirt, holding a red leash."
  },
  {
    "id": "dog_1",
    "bbox": [420, 560, 940, 980],
    "desc": "A medium-sized brown dog with floppy ears, sitting upright and looking up at the man."
  },
  {
    "id": "En_Text_1",
    "bbox": [80, 520, 150, 720],
    "desc": "A vertical street sign with the text \"PARK\" in bold white sans-serif capitals on a green panel."
  }
]

第 3 步:写好元素表——id、bbox、desc 三要素规范

t2i_bbox 表的每行按顺序包含三个键,规范要点:

  1. id:裸类名名词 + 序号,按"先左到右、再上到下"从 1 开始编号,如 person_1、dog_2;文本块用两字母语言码 + _Text_ + 序号,如 En_Text_1;一个实体一行,id 全局唯一。
  2. bbox:如上所述的 4 个整数坐标,尺寸合理、贴近物体。
  3. desc:一段自包含的描述,以元素身份开头(不能写"the X"),写形状、材质、颜色、状态,但不写位置——位置由 bbox 负责;焦点人物要写最丰富的描述(族裔、性别、年龄段、肤色、发型、服饰、姿态、表情);文本行必须逐字转写原文并放入双引号。

同时,全局描述段落中要在首次提到每个元素时用尖括号引用其 id,例如:a wicker table <table_1> holding a tiered stand <stand_1>——每个表内 id 都必须被引用,且不能引用表外 id。

第 4 步:图像编辑场景——i2i_bbox 的五字段行结构

编辑任务(i2i_bbox)的表更精细,每行 5 个字段:id、from、src_bbox、tgt_bbox、desc:

字段 含义
from 来自哪张参考图(ref_image_N),或 target(表示新创造的内容)
src_bbox 元素在源图中的框;全新元素为 null
tgt_bbox 元素在想象结果中的框;被移除的元素为 null
src_bbox_1stage / tgt_bbox_1stage 可选,一阶段初估框

规则要点:被移动或改尺寸的物体两个框都要填;新增物体的尺寸要参照画面中同类物体;段落结尾要带一句"其余内容保持与源图完全一致"的收束语。参考图按顺序以 ref_image_0、ref_image_1… 指代,跨图取材时写作 the cup <cup_1> from <ref_image_1>。

如何保证"落位"可靠:一致性校验与输出控制

README 中的实测数据说明了这套机制的严谨性:与官方参考实现对齐校验中,box 规划与一致性核对 13/13 用例全部精确,1 张参考图的编辑描述与官方结果逐词一致。几个关键配套细节:

  • 解码参数:贪心解码;文生图 presence penalty 1.5、编辑为 0;enable_thinking=False;最多生成 3,584 个 token;
  • 参考图预处理:白底合成 alpha,LANCZOS 缩放到 1 张 1MP、2 张 724²、3–10 张 512²,边长为 32 的倍数,再经 JPEG q92 往返;
  • 输出纯净:只输出"段落 + 空格 + JSON 数组"一行,禁止 Markdown 围栏、注释、拒答,保证下游可直接解析;
  • 量化档位:8-bit 版在 M5 Max 上常驻约 10.4 GB,引号文本保留与框表完整性均满分(20/20 引文、2/2 框表)。

🚀 快速上手:在 Apple Silicon 上跑通 bbox 机制

  1. 克隆仓库(约 9.8 GB,建议预留磁盘空间):

    git clone https://gitcode.com/hf_mirrors/mlx-community/flux-3-image-klein-pup-8bit
    
  2. 使用 mlx-vlm(Python)或 mlx-swift-lm 加载,模型类型为 qwen3_5,处理器类为 Qwen3VLProcessor(见 tokenizer_config.json);

  3. 按任务选择 system_prompts.json 中对应提示词,需要元素定位时务必选 _bbox 模式;

  4. 解析输出行:空格前是全局描述,空格后用 JSON 解析元素表,取 bbox 换算到实际画布像素(乘以 W/1000、H/1000)即可。

✅ 总结:3 句话回顾 bbox 结构化描述机制

  • 一行两件套:描述段落 + JSON 元素表,文字定内容、坐标定位置;
  • 0–1000 网格:[y_min, x_min, y_max, x_max] 整数坐标,左上角原点,与分辨率解耦;
  • 双模式覆盖:t2i_bbox 管生成、i2i_bbox 管编辑(源框 + 目标框),配合贪心解码与严格的 id 引用规则,让每个元素都能精准落位。

理解并善用这套机制后,无论是海报排版、多人合影构图还是精确的图像编辑,你的画面元素都将各就各位。✨

登录后查看全文
flux-3-image-klein-pup-8bit