FLUX 3 Image Klein完全解析:BFL开放权重AI绘图模型,一个5.6B模型统管文生图与图像编辑
FLUX 3 Image Klein完全解析:BFL开放权重AI绘图模型,一个5.6B模型统管文生图与图像编辑
FLUX 3 Image Klein 是 Black Forest Labs(BFL)发布的 5.6B 开放权重 AI 绘图模型,一个模型同时搞定文生图(text-to-image)生成与图像编辑(image editing)。你给它一段提示词,最多再附上 10 张参考图,它就能返回一张成品图——无论是从零画图、单图改风格,还是多图合成,都走同一个模型。
一、一个模型,三种玩法 🎨
FLUX 3 Image Klein 的核心卖点就是"统管":
| 玩法 | 输入 | 说明 |
|---|---|---|
| 文生图 | 提示词 | 直接描述场景生成整张图 |
| 单参考图编辑 | 提示词 + 1 张图 | 换光线、换时间、改元素 |
| 多参考图合成 | 提示词 + 最多 10 张图 | 多图内容融合到同一画面 |
其他值得一提的特性:
- 提示词内嵌边界框(Bounding Box):在 0–1000 网格上框出元素位置,即可控制摆放与大小
- 图像内文字渲染:生成的图里能写出文字(海报、招牌等场景友好)
- Qwen3-VL-4B-Instruct 文本编码器:仓库内已集成,无需单独下载
- 蒸馏版 16 步出图:无需 guidance 参数,推理速度快
二、仓库结构速览:每个文件是干什么的 📦
仓库按组件分目录组织,主要文件如下:
| 路径 | 作用 |
|---|---|
| config.json | 模型总配置:DiT 结构、采样步数 16、默认 1024×1024 |
| modular_model_index.json | Diffusers 模块化管线索引,声明各组件类名与子目录 |
| model.safetensors + manifest.json | BF16 蒸馏版 Transformer 权重(约 5.55B 参数) |
| transformer/ | Transformer 组件目录(Flux3Transformer2DModel) |
| vae/ | 图像自动编码器 AutoencoderKLFlux2 |
| ae.safetensors | 自动编码器权重文件 |
| text_encoder/ | Qwen3-VL-4B-Instruct 文本编码器(权重 + 分词器) |
| variants/fp8r/ | FP8 量化版 Transformer |
| variants/nvfp4/ | NVFP4 量化版 Transformer |
| LICENSE.md / NOTICE.md | FLUX Kommunity License 许可协议 |
从 manifest.json 可以看到,BF16 权重共 359 个张量、参数约 5.55B,并附带 SHA256 校验和方便验证完整性。文本编码器配置在 config.json 中指定了取用的特征层(第 4 到 32 层共 8 层),最大 token 数 8192。
三、两个版本怎么选:Klein 还是 Klein Base?
官方提供了两个 checkpoint,定位完全不同:
| 检查点 | 格式 | 步数 | Guidance | 适用场景 |
|---|---|---|---|---|
| Klein(本仓库) | 蒸馏版,BF16 | 16 | 无需 | 生成与编辑、自托管部署,即 BFL API 同款 |
| Klein Base | 未蒸馏,BF16 | 50 | 3.5 | 微调、LoRA 训练、科研 |
💡 想玩生成和编辑:用本仓库的蒸馏版;想做 LoRA 或研究:去下载 FLUX 3 Image Klein Base。
四、权重一键下载:最省事的获取方式 ⬇️
用 Hugging Face 的 snapshot_download 只下载根目录 BF16 包(含文本编码器与自动编码器),跳过量化版本:
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="black-forest-labs/flux-3-image-klein",
local_dir="weights/flux-3-image-klein",
allow_patterns=[
"model.safetensors", "config.json", "manifest.json",
"ae.safetensors", "text_encoder/*",
"README.md", "LICENSE.md", "NOTICE.md",
],
)
如果想下量化版,把上面三个根目录 Transformer 模式替换为 variants/fp8r/* 或 variants/nvfp4/* 即可。
⚠️ 这些文件只是模型权重包,不是开箱即用的推理应用。需要一个支持 flow-map 采样的推理实现来加载。
五、Diffusers 快速上手:传 prompt 或传 image 即可 🚀
FLUX 3 Image Klein 在 Diffusers 中使用模块化管线(modular_model_index.json 声明的 Flux3DistilledModularPipeline):
- 只传
prompt→ 文生图 - 传
prompt+image→ 图像编辑(image可以是单图或参考图列表)
from diffusers import ModularPipeline
import torch
pipe = ModularPipeline.from_pretrained("black-forest-labs/flux-3-image-klein")
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda")
# 文生图:注意要用"完整场景描述"而不是短句
image = pipe(prompt="A wide-angle photograph of a lone American bison in a misty geothermal landscape, ...",
output="images")[0]
官方完整示例(含多行场景提示词的写法)可参考 README.md 中的 "Using with Diffusers" 章节。
六、最关键的一步:务必搭配 Prompt Upsampler ⚡
这是新手最容易踩的坑——FLUX 3 Image Klein 吃的是"完整场景描述"(full scene captions):包含取景、主体、背景、光线等完整信息。你直接把一句话短句喂进去,只能得到平庸的泛化结果。
官方方案是配套的提示词扩展模型 flux-3-image-klein-pup:
- 参考代码 CLI 默认自动加载它
- 用 Diffusers 时需要单独运行,把输出作为
prompt传入 - 也可以用任意 LLM 替代:把官方
system_prompts.json里的 t2i / i2i 系统提示给它即可
编辑场景下,upsampler 会结合你的指令 + 参考图共同生成"改好之后的完整描述",这是单参考图编辑效果好的关键。
七、边界框布局:在提示词里"框"出画面 📐
FLUX 3 支持在 caption 末尾附加一个 JSON 元素列表来布局画面,每个框为 [top, left, bottom, right],基于 0–1000 网格:
Minimalist graphic illustration featuring a black silhouette of a person <silhouette_1> centered against a solid, vibrant chartreuse background <background_1>.
[{"id": "background_1", "bbox": [0, 0, 1000, 1000], "desc": "A flat field of neon yellow-green."},
{"id": "silhouette_1", "bbox": [150, 150, 850, 850], "desc": "A black silhouette of a person in motion."}]
要点:
- 框只控制摆放位置和大小,不是硬遮罩——元素可能超出框,小元素可能不出现
- 编辑时可用
<ref_image_n>指代第 n 张参考图,tgt_bbox设为null表示删除该元素
八、三种精度格式与显卡显存参考 💾
仓库自带 BF16 原版与两种量化变体:
| 格式 | 位置 | B200 峰值显存(1024×1024,关闭 upsampler) |
|---|---|---|
| BF16(原版) | 根目录 | 31 GB |
| FP8(fp8r) | variants/fp8r/ | 26 GB |
| NVFP4 | variants/nvfp4/ | 25 GB |
补充说明:
- 开启 prompt upsampler 大约额外占用 28 GB(在 80 GB 卡上实测)
- 量化包的文件小不等于总显存占用小,加载器需支持对应量化格式
- NVFP4 量化基于 37 组提示词 / 图像在 5 种分辨率下校准(见 variants/nvfp4/manifest.json)
九、许可证:能商用吗?📜
本模型采用 FLUX Kommunity License v1.0(NOTICE.md 中也有版权声明):
- 非商业用途:免费使用
- 商业例外:年营收(含关联方)低于 500 万美元的 Qualifying User,可商用其输出成果
- 文本编码器 Qwen3-VL-4B-Instruct 部分为 Apache-2.0
- 军事用途、监控、生物特征处理等属于明确禁止范围
⚠️ 商业例外不等于允许商用微调和分发,具体条款以 LICENSE.md 全文为准。
十、已知局限,先知道不踩坑 🧐
官方 README 中明确列出的限制:
- 短提示词 → 泛化平庸的输出,提示词风格影响巨大
- 可渲染文字但可能不准确、有畸变
- 边界框不是硬约束,编辑可能改动请求区域之外的内容
- 作为统计模型可能反映或放大训练数据中的偏差
- 不提供事实性信息
完整提示词技巧、局限性说明与引用格式都在 README.md 中,建议部署前通读一遍。
总结
FLUX 3 Image Klein 用单个 5.6B 开放权重模型统一了文生图与图像编辑两大场景,16 步蒸馏采样、提示词内嵌边界框、图像内文字渲染是它最实用的三个亮点。上手时记住三件事:先配 prompt upsampler、提示词写完整场景描述、按显存选 BF16/FP8/NVFP4。仓库内权重、文本编码器、自动编码器一应俱全,克隆仓库(地址见文首镜像源)后即可按 README.md 的步骤开始出图。