Qwen-Image-2.1-Turbo-FP8 架构深度解析:7B DiT、Qwen3-VL 编码器与 64 通道 VAE 如何协同出图
Qwen-Image-2.1-Turbo-FP8 架构深度解析:7B DiT、Qwen3-VL 编码器与 64 通道 VAE 如何协同出图
本项目是 Qwen-Image-2.1-Turbo 的 FP8/INT8 量化版本,一套 7B 级文生图/图像编辑模型。它由 7B DiT 扩散骨干、Qwen3-VL 多模态文本编码器与 64 通道高维 VAE 三大数据模块协同工作,仅需 8 步即可出图,量化后体积近乎减半,让消费级显卡也能跑通 7B 文生图模型。
一、三大核心组件与整体职责分工 🧩
整个模型不是"一个大文件",而是按职责拆成 5 个目录,每个目录装一个可独立替换的组件。它们的分工可以用一句话概括:
Qwen3-VL 读懂你的提示词(和参考图)→ 7B DiT 在隐空间里做 8 步去噪 → 64 通道 VAE 把隐变量还原成像素。
各组件在 model_index.json 中被声明为如下类型:
| 组件 | 类型类名 | 所在目录 | 角色 |
|---|---|---|---|
| 文本编码器 | Qwen3VLForConditionalGeneration |
text_encoder/ |
理解文本 + 参考图,输出条件向量 |
| 扩散骨干 | QwenImage21Transformer2DModel |
transformer/ |
7B DiT,真正做"画图"的主体 |
| 变分自编码器 | AutoencoderKLQwenImage21 |
vae/ |
像素 ⇄ 64 通道隐空间 互转 |
| 采样调度器 | FlowMatchEulerDiscreteScheduler |
scheduler/ |
决定 8 步去噪的噪声轨迹 |
| 处理器 | Qwen3VLProcessor |
processor/ |
分词 + 图像预处理 |
下面逐个拆解每个组件的内部结构。
二、Qwen3-VL 文本编码器:36 层如何读懂提示词
文本编码器是整个流水线的"语义大脑"。它并非一个单纯的 LLM,而是一个多模态模型(model_type: qwen3_vl),能同时吃进文字和参考图像,这正是图像编辑能力的关键来源。
从 text_encoder/config.json 可以看到关键参数:
- 36 层 Transformer,隐藏维度
4096,32 个注意力头,激活函数silu; - 分组查询注意力(GQA):
num_key_value_heads = 8,用 8 组 KV 头服务 32 个查询头,显著降低推理时的显存与带宽开销; - RoPE 位置编码:
rope_theta = 5000000,支持最长262144token 的上下文窗口; - 内置视觉编码器:27 层、
patch_size=16、spatial_merge_size=2,并带deepstack_visual_indexes = [8, 16, 24]的深层特征注入机制。
这里有一个精巧的接口对齐:视觉编码器的输出维度 out_hidden_size = 4096,恰好等于 DiT 的 context_in_dim = 4096。也就是说,编码器产出的条件向量可以不经过额外投影直接喂给扩散骨干——两个模块在维度上是天然咬合的。
💡 编辑场景下,参考图正是通过这套视觉编码器进入条件序列的,再配合
causal_condition的因果注意力与 KV 缓存,实现"文本 + 参考图"跨去噪步的上下文复用。
三、7B DiT 骨干:32 层如何在 64 通道隐空间作画 🎨
扩散骨干 transformer/ 是 7B 参数量的主体(bf16 下约 14.2 GB)。其结构定义见 transformer/config.json:
- 32 层 Transformer(
num_layers = 32); - 每层 128 维注意力头 × 32 头,
mlp_ratio = 3; - 输入/输出均为 64 通道(
in_channels = 64、out_channels = 64)——它不是在像素上工作,而是在 VAE 的 64 通道隐空间上去噪; - 3D RoPE:
axes_dims_rope = [16, 56, 56],把时间/两个空间轴的位置信息编进注意力; patch_size = 1,对隐空间近乎逐位置处理,细节保留能力强。
从权重索引 diffusion_pytorch_model.safetensors.index.json 可以读出每个 block 的内部模块:attn.to_q/to_k/to_v、attn.to_out.0、img_mlp.proj/gate_layer/out、norm_q/norm_k,以及入口 img_in、出口 proj_out、time_text_embed(时间步嵌入)和 txt_in(文本条件入口)。
⚙️
causal_condition: true表示文本/参考图条件位于注意力序列前缀,图像隐变量在后——这让"条件 KV"可以在多步去噪间被缓存复用,是 8 步快速出图能在时间上再提速的关键。
四、64 通道 VAE:16 倍压缩的隐空间桥梁 🌉
VAE 是像素世界与扩散世界之间的"翻译官"。它用高维隐变量换取更强的表征能力,定义见 vae/config.json:
z_dim = 64:隐空间有 64 个通道(对比许多模型仅 4~16 通道),这也是 DiTin/out_channels=64的由来——三者在此严格对齐;- 空间压缩
scale_factor_spatial = 16:图像长宽各压缩 16 倍,一张 1024×1024 的图只需在 64×64 的隐空间做 8 步去噪,算力大幅降低; - 时间压缩
scale_factor_temporal = 8,配合temperal_downsample的多级下采样,使其同时兼容视频潜变量; - 编码器
base_dim = 96、解码器decoder_base_dim = 144,dim_mult = [1,2,4,8,8]逐级增宽; - 配置中内置了完整的
latents_mean/latents_std逐通道统计量,用于隐变量的归一化,保证 DiT 看到的分布稳定。
🔑 可以这样理解:VAE 把"画像素"这道难题,降维成了"在 64 通道隐空间里画一张小图",DiT 只需要专注后者,8 步即可收敛。
五、8 步采样调度:如何把步数从几十步压到 8 步 ⚡
Turbo 的"快"来自蒸馏 + 固定采样表。调度器是 FlowMatchEulerDiscreteScheduler(scheduler/scheduler_config.json),而真正的步数表被直接固化在 model_index.json 的 sample_sigmas 字段里:
1.0 → 0.978 → 0.954 → 0.927 → 0.895 → 0.845 → 0.705 → 0.415
这 8 个 σ 值就是 8 次去噪的精确噪声水平,加载时自动生效。需要注意两点工程细节:
- 仅设置
num_inference_steps不会覆盖这张表,步数由存档决定,开箱即用、无需手动配调度器; - 生成默认 CFG=1(无分类器/无分类引导),配合前缀 KV 缓存跨步复用文本与参考图上下文,进一步压缩每步开销。
六、三套量化方案对比:INT8-ConvRot 为何最推荐 📊
本仓库的价值正是量化。它把 14.2 GB 的 bf16 transformer 替换为 7.1~7.3 GB 的三个可选文件,其余模块(文本编码器、VAE)保持 bf16 原精度直接复用。
量化配方很有讲究:norms、modulation、timestep embeddings 以及 INT8 的 txt_in 保留 bf16,其余线性层全部量化——即把对数值敏感的小模块"护住",只对大参数线性层降精度,兼顾体积与质量。
三套方案的实测对比(LPIPS 越小,与 bf16 原版越接近):
| 量化文件 | 体积 | 方案 | LPIPS vs bf16 |
|---|---|---|---|
INT8-ConvRot |
7.26 GB | INT8 W8A8 + group-256 Hadamard 旋转 | 0.037 ✅ 推荐 |
INT8 |
7.26 GB | INT8 W8A8,无旋转 | 0.089 |
FP8 |
7.12 GB | FP8 e4m3,per-row 缩放 | 0.125 |
🏆 为什么 INT8-ConvRot 最优? Hadamard 旋转把激活分布"打平",消除了个别离群值对 int8 量化范围的挤压,从而以几乎相同的体积拿到最低的 LPIPS。对追求画质的用户,这是首选。
全部权重均为 safetensors 格式(非 pickle),加载不执行任意代码,安全性更佳。
七、数据流串联:三大组件如何协同闭环 🔁
把前面的拼图拼起来,一次文生图的完整旅程是:
- 预处理:
processor/对提示词分词、对参考图(若有)做 patch 化,交给 Qwen3-VL; - 条件编码:
text_encoder/产出 4096 维条件序列(文本 + 参考图融合); - 8 步去噪:
transformer/的 7B DiT 在 64 通道隐空间,按sample_sigmas的 8 个 σ 逐步去噪,条件 KV 跨步缓存复用; - 解码出图:
vae/用 64 通道隐变量解码回像素,经内置的latents_mean/std反归一化后得到最终图像。
体积上,量化只动 transformer/(14.2 → 7.1 GB),text_encoder/ 与 vae/ 原精度保留——"大脑"保真、"画手"提速,这正是 FP8/INT8 版本能既省显存又保质量的核心逻辑。
八、总结:架构协同要点速记
- 维度对齐是协同的基石:编码器输出
4096⇄ DiTcontext_in_dim 4096;VAEz_dim 64⇄ DiTin/out_channels 64。 - VAE 降维 + 8 步调度 = 速度来源:16 倍空间压缩把"画大图"变"画小图",蒸馏 σ 表把几十步压到 8 步。
- GQA + causal_condition + KV 缓存 = 显存与时间双优化:条件前缀只算一次,跨步复用。
- 量化"护敏感、压大头":norms/modulation/timestep 保 bf16,线性层降精度,INT8-ConvRot 以 0.037 的 LPIPS 成为画质首选。
想动手跑起来,只需安装带"pipeline 配置采样 sigmas"支持的 diffusers 版本,用
QwenImage21Pipeline直接from_pretrained加载即可,8 步调度自动生效。