LyCORIS项目中多算法配置与rank_dropout参数的影响分析

问题背景

在使用LyCORIS项目进行模型训练时，用户发现当在配置文件中同时使用LoHa和LoKr算法时，训练过程中生成的样本图像表现正常，但在单独加载权重文件进行测试时却出现了明显的图像生成错误。这一问题在使用kohya_ss的sdxl_gen_img.py、auto1111和comfyUI等不同工具测试时均能复现。

关键发现

经过多次测试验证，确定了以下关键点：

1. 多算法支持性：LyCORIS项目确实支持在配置文件中同时使用多种算法（如LoHa和LoKr），auto1111等工具能够正确处理这种多算法配置。

2. rank_dropout参数问题：当rank_dropout参数值大于0时，即使开启了rank_dropout_scale选项，也会导致测试时生成错误的图像结果。这一问题与是否使用dora_wd或多算法配置无关。

3. dora_wd与rank_dropout的冲突：特别值得注意的是，当同时启用dora_wd和rank_dropout时，会导致严重的问题，建议避免这种参数组合。

技术建议

基于以上发现，对于使用LyCORIS项目进行模型训练的用户，我们建议：

1. 参数选择：在大多数情况下，可以安全地禁用rank_dropout参数，因为它的必要性相对较低，而且可能带来不稳定的结果。

2. 训练中断问题：目前已知存在网络权重无法继续训练的问题，开发团队已经意识到这一问题并正在修复中。

3. 参数组合测试：在使用新参数组合前，建议先进行小规模测试，验证生成的权重文件是否能正确工作，避免长时间训练后发现不可用的问题。

总结

LyCORIS项目提供了灵活的算法配置选项，但在使用某些高级参数时需要特别注意其兼容性和潜在影响。rank_dropout参数虽然在某些情况下可能有用，但在当前版本中与dora_wd和多算法配置存在兼容性问题，建议用户谨慎使用或暂时避免。开发团队正在积极解决已知问题，未来版本有望提供更稳定的参数组合支持。