LoRA-Scripts项目中SDXL训练出现NaN问题的分析与解决

问题背景

在使用LoRA-Scripts项目进行SDXL模型训练时，部分用户遇到了"NaN detected in latents"的错误提示，导致训练过程中断。该问题主要出现在项目版本6a168cc8edbf7cf84fa9f51e3b981ee3f1acba02之后，表现为在缓存潜在空间(latents)时检测到NaN(非数值)值。

问题现象

用户在训练SDXL模型时，控制台会抛出以下错误：

RuntimeError: NaN detected in latents: train/aki/5_girl/fengmian101.png

值得注意的是，该问题具有以下特点：

1. 仅影响SDXL模型训练，SD1.5和Flux fp8模型不受影响
2. 同一台机器、相同配置下，之前版本可以正常运行
3. 问题出现后，即使重新启动训练也会持续存在

根本原因分析

经过用户测试和验证，该问题与VAE(变分自编码器)的半精度(FP16)计算有关。在SDXL模型中，当使用半精度VAE进行潜在空间编码时，某些图像数据可能会导致数值计算不稳定，产生NaN值。

解决方案

临时解决方案

1. 启用no_half_vae选项：在配置文件中设置no_half_vae为true，强制VAE使用全精度(FP32)计算
2. 先启用后禁用no_half_vae：有用户发现，先启用no_half_vae训练一次，然后即使再禁用该选项，问题也不再出现

长期建议

1. 对于SDXL模型训练，建议默认启用no_half_vae选项
2. 如果显存允许，可以考虑使用全精度训练以获得更好的稳定性
3. 检查训练图像是否存在异常（如损坏、格式问题等）

技术细节

VAE在潜在扩散模型中负责将图像编码到潜在空间。当使用半精度计算时，某些数值运算可能会超出FP16的表示范围，导致NaN。SDXL模型由于其更大的参数量和更复杂的结构，对数值稳定性要求更高，因此更容易出现此类问题。

总结

该问题揭示了深度学习训练中精度选择的重要性。虽然半精度计算可以节省显存并提高训练速度，但在某些情况下可能导致数值不稳定。对于SDXL这类大型模型，适当牺牲一些性能换取稳定性往往是值得的。用户在实际训练中应根据硬件条件和模型特性，合理配置精度参数。