Liger-Kernel项目中Qwen VL模型在Transformers 4.47.0版本上的兼容性问题分析

在Liger-Kernel深度学习框架的测试过程中，发现了一个与Qwen VL模型相关的兼容性问题。这个问题表现为当使用Transformers库4.47.0及以上版本时，模型的收敛性测试会失败，而在4.46.3版本下则能正常通过。

问题现象

测试人员在两种不同环境下运行了相同的测试用例：

1. 在Transformers 4.47.0环境下，两个关于mini_qwen2_vl模型的测试用例均告失败
2. 在Transformers 4.46.3环境下，所有测试用例都能顺利通过

值得注意的是，当测试人员将4.46.3版本的modeling_qwen2_vl.py文件直接复制到4.47.0环境的site-packages目录后，测试又能正常通过。这表明问题确实出在模型代码的变更上，而非其他因素。

问题影响范围

该问题不仅影响了多模态模型的收敛性测试，还影响了logits相关的测试。这意味着问题可能涉及模型的核心计算逻辑，而不仅仅是表面的兼容性问题。

技术分析

从现象来看，Transformers 4.47.0版本中对Qwen VL模型的实现进行了某些修改，这些修改导致了：

1. 数值计算结果的差异（测试中出现了32个和21648个不匹配元素）
2. 模型收敛行为的改变

考虑到深度学习模型对数值精度和计算顺序的敏感性，这种变化可能源于：

• 模型架构的细微调整
• 初始化方式的改变
• 计算流程的优化或重构
• 精度处理策略的变更

临时解决方案

项目团队已经采取了临时措施：

1. 暂时禁用了新Transformers版本下的相关测试
2. 通过PR#463进行了紧急修复

后续建议

对于遇到类似问题的开发者，建议：

1. 暂时锁定Transformers版本为4.46.3
2. 密切关注Transformers库的更新日志，特别是关于Qwen VL模型的变更说明
3. 等待官方发布更详细的兼容性说明或修复方案

这个问题提醒我们，在深度学习框架升级时，需要特别关注模型实现的变更，并进行充分的回归测试，以确保模型行为的稳定性。