3步跑通cdf-sim2real-smt-solderlight:从零生成第一张PCB焊接灯AOI图像的完整快速开始教程
3步跑通cdf-sim2real-smt-solderlight:从零生成第一张PCB焊接灯AOI图像的完整快速开始教程
cdf-sim2real-smt-solderlight 是 NVIDIA 开源的 PCB 自动光学检测(AOI)sim-to-real 数据增强模型,可将渲染生成的 PCB 元件裁剪图转换为焊接灯(solder-light)风格的 AOI 检验图像。本快速开始教程只需 3 步:获取模型、配置环境、运行生成脚本,你就能从零产出第一张 AOI 风格图像,全程面向新手,无需深度学习背景。
一、先搞清楚:这个模型到底能做什么?
用一句话概括:输入一张 Omniverse 渲染的 PCB 元件裁剪图,输出一张"焊接灯光风格"的 AOI 检验图像。
- 📥 输入:PNG/JPG 格式的 RGB 图像,且必须是 Omniverse 渲染合成的 PCB 元件裁剪图(训练目标面积约 262,144 像素,接近 512×512)
- 📤 输出:同构图的焊接灯风格 PNG,元件的身份、几何形状、丝印标记、封装外形都会被保留
- 🔒 提示词是锁定的:训练时只用了一句固定的英文指令,官方刻意不开放自定义,防止模型被挪作他用
- ⚠️ 定位:它是 sim-to-real 数据翻译环节,不是缺陷判定模型——良率判断必须交给下游检测模型并配合人工复核
模型本身是 NVIDIA 用 LoRA(rank 16,364 组配对样本、3000 步)在 Qwen-Image-Edit 上微调后融合而成的完整 diffusers 流水线,总参数量约 200 亿,架构细节可参考 EXPLAINABILITY.md。
二、环境准备清单:硬件与软件要求
跑通前先对照这张清单,避免中途卡壳:
| 项目 | 要求 |
|---|---|
| 操作系统 | Linux |
| GPU | NVIDIA 显卡,官方测试于 A100 / H100,兼容 RTX 40 系列(20B 参数 + bf16 精度,显存需求高,建议 40GB+ 级别) |
| 软件 | Python、PyTorch、diffusers(≥ 0.38,见 model/model_index.json)、transformers、accelerate |
| 输入素材 | 一张 Omniverse 渲染的 PCB 元件裁剪图(约 512×512,PNG/JPG) |
三、3步快速开始教程
第 1 步:获取模型文件
在仓库根目录执行以下命令克隆模型(克隆地址为 gitcode 镜像源):
git clone https://gitcode.com/hf_mirrors/nvidia/cdf-sim2real-smt-solderlight
克隆完成后,核心模型都在 model/ 目录下,是一个开箱即用的 diffusers 流水线:transformer/(NVIDIA 微调部分)、text_encoder/(Qwen2.5-VL)、vae/、tokenizer/、processor/、scheduler/,入口配置是 model/model_index.json。
第 2 步:安装依赖
创建虚拟环境并安装推理所需的库:
pip install torch diffusers transformers accelerate
💡 如果你克隆了本地模型目录,就不需要联网下载权重,第 3 步直接指向本地路径即可。
第 3 步:加载流水线,生成第一张图像
保存下面的 generate.py(提示词为官方固定指令,勿改动):
import torch
from PIL import Image
from diffusers import QwenImageEditPipeline
# 本地克隆目录;也可直接用 "nvidia/cdf-sim2real-smt-solderlight"
pipeline = QwenImageEditPipeline.from_pretrained(
"./cdf-sim2real-smt-solderlight",
subfolder="model",
torch_dtype=torch.bfloat16,
).to("cuda")
# 官方固定提示词(与训练时完全一致)
prompt = (
"Render this PCB component crop as a restrained raked solder-light "
"AOI inspection photograph. Keep the exact source geometry, crop, "
"markings, and component body shape. Apply bright orange-red and "
"cobalt-blue specular highlights only to existing solder pads, "
"exposed leads, endcaps, pins, and metallic contacts. Keep plastic "
"or ceramic IC bodies and large matte component centers dark, flat, "
"and non-emissive; no fiery rings, halos, glow, speckled noise, or "
"texture blooms on component bodies. Do not add any new letters, "
"labels, logos, captions, watermarks, borders, or decorative graphics."
)
input_image = Image.open("pcb_crop.png").convert("RGB") # 你的Omniverse渲染裁剪图
result = pipeline(prompt, image=input_image).images[0]
result.save("aoi_output.png")
运行 python generate.py,几分钟后你会得到第一张焊接灯 AOI 风格图像 🎉。去噪采样器为 FlowMatchEulerDiscreteScheduler,参数已固化在 model/scheduler/scheduler_config.json,无需手动调参。
四、输出不理想?常见问题与排查
1. 风格发糊或细节丢失 输入分辨率偏离 512×512 太远时风格保真度会下降(微调只在该目标面积上完成)。请把输入保持在约 0.5MP。
2. 输入是真实照片或非元件裁剪图 该模型只在 Omniverse 渲染的合成元件裁剪图上训练,真实照片、整板图、其他领域图像属于分布外输入,效果无保证,不建议使用。
3. 生成的光效"过火" 若出现火焰光环、噪点、纹理泛光等伪影,多半是输入偏离训练分布,请检查输入是否为标准的 Omniverse 渲染裁剪图。
五、使用边界与合规提醒 🛡️
- 本模型仅做 数据增强辅助,不得作为检验 pass/fail 的唯一依据,缺陷判定必须由下游检测模型 + 人工复核完成
- 输入图像需确保你拥有合法权利;模型可能复现伪目标样本的伪影,下游检测模型可能学到风格伪特征,部署前务必用真实目标域数据验证
- 使用受 OpenMDW-1.1 许可协议约束,上游 Qwen-Image-Edit 组件遵循 Apache 2.0
- 更多合规与风险说明见 SAFETY.md、BIAS.md、PRIVACY.md
六、相关文件速查
| 路径 | 说明 |
|---|---|
| README.md | 模型总览、架构、输入输出规范(建议通读) |
| model/model_index.json | 流水线入口配置,确认组件版本 |
| model/transformer/config.json | 扩散 Transformer 架构参数(60 层、24 头) |
| model/vae/config.json | Qwen-Image VAE 配置 |
| model/scheduler/scheduler_config.json | 流匹配采样器配置 |
| EXPLAINABILITY.md | 工作原理、技术限制与已知风险 |
按以上 3 步走完,你就已经从零跑通了 cdf-sim2real-smt-solderlight 的完整推理链路,可以把它接入自己的 PCB AOI 数据增强流程了。祝顺利!