10个让flux-3-image-klein-pup更稳的技巧:中文请求、解码参数与调优清单

原创2026-10-17 09:54:391,930 阅读
文章标签:人工智能大模型基础模型

10个让flux-3-image-klein-pup更稳的技巧:中文请求、解码参数与调优清单

flux-3-image-klein-pup 是 FLUX 3 Image Klein 官方配套的 Prompt Upsampler(提示词扩写)模型:一个基于 Qwen3.5-9B 微调的 9B 视觉语言模型,负责把你的简短生图请求(支持中文)扩写成 FLUX 3 Image Klein 最擅长执行的详细英文 caption。它同时支持文生图、参考图编辑和 bounding box 布局控制。下面 10 个技巧帮你把这套模型跑得又稳又准。

为什么生图前需要先"扩写"?

FLUX 3 Image Klein 官方建议不要直接裸跑:把短提示词原样发给图像模型,往往只能得到平庸的画面。这个模型专门为此微调过,会把一句"A man walking with his dog, afternoon sun"扩展成 200 词左右的完整描述——光线方向、人物衣着材质、景别构图一应俱全。完整文件清单见 README.md。

技巧 1:直接用中文发请求,无需翻译

⚠️ 输出固定为英文,但请求可以用任何语言,中文完全可以:

  • 请求(中文即可):一个人在午后阳光下遛狗
  • 输出:一段 100–350 词、专为 FLUX 3 Image Klein 调优的英文 caption

需要注意:caption 中的引号内文字(画面里要渲染的标语、文字)会保留原文语言,所以中文标语会被原样引用。这一点在 system_prompts.json 的 t2i 提示词中写得很明确("only quoted text keeps its language")。

技巧 2:选对 system prompt 模式(t2i / i2i / bbox)

model.safetensors 里是同一个模型,靠 system prompt 切换四种模式,全部保存在 system_prompts.json:

模式 用途
t2i 纯文字生图
i2i 参考图编辑(最多 10 张参考图)
t2i_bbox 生图 + 边界框布局控制
i2i_bbox 编辑 + 边界框布局控制

最常见的翻车原因就是用错模式——比如做参考图编辑却传了 t2i 的系统提示词。

技巧 3:用官方解码参数,别自己乱调

这是"更稳"的核心。官方给出的解码配置(见 README.md Decoding 部分):

  • do_sample=False(贪心解码),同时 top_p 0.95、top_k 20
  • presence penalty:t2i 用 1.5,编辑类(i2i)用 0
  • max_new_tokens=3584

presence penalty 的差异是有讲究的:生图模式用 1.5 防止 caption 反复绕圈子,编辑模式用 0 保证指令紧凑(编辑类 caption 典型只有 50–150 词)。

技巧 4:关闭 thinking 模式(enable_thinking=False)

该模型的 chat_template.jinja 支持 enable_thinking 参数。调用 apply_chat_template 时传入 enable_thinking=False,模板会直接输出空的思考块,模型不会先"想"再答,输出更快也更干净。

技巧 5:用 TARGET CANVAS 行控制构图比例

请求首行可以加 TARGET CANVAS: W:H(例如 TARGET CANVAS: 16:9),模型会按这个画布组织构图——宽幅横向铺开内容、竖幅纵向堆叠——且不会在 caption 里提到比例本身。做海报、壁纸、头像时建议始终显式声明画布。

技巧 6:请求里把"可验证的细节"写具体

这个模型会忠实保留你提到的每个主体、属性、数量、位置约束和措辞,绝不擅自替换或删减。所以:

  • 数量要写准("两只狗"而不是"狗")
  • 关键文字用引号原样给出,它会逐字转录进画面
  • 长请求只保留内容、去掉评价性、营销性词汇

技巧 7:参考图别超 10 张,注意 1MP 压缩

⚠️ 参考图在进入模型前会被缩放:单张参考图最多 1MP,多张时更小。因此参考图里的细小文字、微小纹理可能被描述错误。建议:

  • 参考图聚焦主体,重要细节放大后上传
  • 多图按重要性排序,模型按"第一张、第二张……"的序数引用它们

图像预处理参数见 processor_config.json 和 preprocessor_config.json。

技巧 8:边界框用 0–1000 坐标系传 JSON

布局类模式(*_bbox)要求把框按 JSON 附在请求后面,输出会在 caption 后跟一张"框表",caption 用 <id> 引用每个框,图像模型就按框定位元素。要点:

  • 坐标格式 [y_min, x_min, y_max, x_max],0–1000 网格、左上角为原点
  • 文本框四周留 5–15 个单位边距

技巧 9:bfloat16 加载,预留 20GB+ 显存

model.safetensors 为 bfloat16 格式,体积 18.8 GB。建议:

  • dtype=torch.bfloat16 + device_map="auto" 自动分配
  • 单卡显存 <20GB 时会触发 CPU offload,速度明显下降,优先选 24GB 卡
  • 词表 248320、上下文 262144 token,配置见 config.json 与 tokenizer_config.json

技巧 10:caption 完整原样传给图像模型 + 开启安全检查

两个收尾习惯:

  1. 完整传递:upsampler 输出的整段 caption(含 bbox 模式下的框表)要一字不剪地作为 prompt 传给 FLUX 3 管线。官方推理代码默认启用 upsampler(--no-pup 才是裸跑);Diffusers 场景把 caption 作为 prompt 传入即可;ComfyUI 的 flux-3-image-klein-comfy 模板里有 enable_prompt_upsampler 开关
  2. 开启 --safety:⚠️ 这个模型不会拒绝任何请求,安全过滤由推理代码可选的 prompt/image 检查承担,不要指望模型自带护栏

调优清单(快速核对)

  • [ ] 中文请求可直接发送,引号内文字保留原文语言
  • [ ] system prompt 模式与任务匹配(t2i / i2i / t2i_bbox / i2i_bbox)
  • [ ] 解码参数:贪心 + top_p 0.95 + top_k 20,presence penalty t2i=1.5 / i2i=0
  • [ ] enable_thinking=False
  • [ ] 显式声明 TARGET CANVAS: W:H
  • [ ] 参考图 ≤10 张,关键细节已放大
  • [ ] bbox 用 0–1000 网格 [y_min, x_min, y_max, x_max]
  • [ ] bfloat16 加载,显存 ≥20GB
  • [ ] caption 完整传递 + 开启 --safety

按这份清单核对一遍,flux-3-image-klein-pup 的出图稳定性会有明显提升。该模型以 Apache License 2.0 发布,可放心用于生产环境。

登录后查看全文
flux-3-image-klein-pup