LyCORIS项目中BOFT算法训练SDXL模型的问题分析与解决

问题背景

在使用LyCORIS项目进行SDXL模型训练时，研究人员发现当采用BOFT（Butterfly Orthogonal Fine-Tuning）算法时会出现运行错误。该问题表现为在训练初始化阶段出现einsum操作维度不匹配的错误，导致训练过程中断。

错误现象分析

当用户尝试使用BOFT算法训练SDXL模型时，系统会抛出以下关键错误信息：

RuntimeError: einsum(): subscript b has size 640 for operand 1 which does not broadcast with previously seen size 16

这一错误表明在BOFT模块的权重计算过程中，张量维度出现了不匹配的情况。具体来说，在boft.py文件的make_weight方法中，当执行einsum运算时，输入张量的广播维度不一致（640 vs 16），导致运算无法完成。

临时解决方案

研究人员发现，如果将BOFT算法替换为Diag-OFT算法，训练过程可以正常启动。此外，通过将当前版本的boft.py文件替换为早期提交版本（7ef2920）中的实现，也能够规避此错误并使训练正常进行。

根本原因

经过分析，此问题源于BOFT算法实现中对输入张量维度处理的缺陷。在最新版本的实现中，对某些特定维度的张量（特别是当dim=640时）的处理逻辑存在不足，导致在构建权重矩阵时出现维度不匹配。

官方修复

项目维护者KohakuBlueleaf在收到问题报告后，迅速定位并修复了此问题。修复提交（85ab749）调整了BOFT算法中的维度处理逻辑，确保了在各种输入维度下都能正确执行矩阵运算。

技术启示

1. 算法选择：在模型微调过程中，不同算法对模型架构和输入维度的适应性存在差异。当遇到类似问题时，尝试替代算法（如Diag-OFT）可能是一个有效的临时解决方案。

2. 版本管理：当最新版本出现问题时，回退到已知稳定的历史版本是一种有效的故障排查方法，但需要注意版本兼容性。

3. 维度处理：在实现涉及复杂张量运算的算法时，需要特别注意各种可能的输入维度组合，并进行充分的边界条件测试。

结论

LyCORIS项目中的BOFT算法实现问题已被官方修复。这一案例展示了开源社区中问题报告与修复的高效协作模式，同时也提醒开发者在实现复杂张量运算时需要特别注意维度处理的鲁棒性。对于使用者而言，保持对项目更新的关注并及时应用修复是确保训练稳定性的重要措施。