解决open-compass/VLMEvalKit中AUTO_SPLIT与CUDA_VISIBLE_DEVICES的兼容性问题

在深度学习模型训练和评估过程中，GPU资源的高效利用是一个常见需求。open-compass/VLMEvalKit项目提供了AUTO_SPLIT功能来自动分割模型到多个GPU上运行，但在实际使用中，当与CUDA_VISIBLE_DEVICES环境变量结合使用时可能会遇到兼容性问题。

问题背景

在多用户共享GPU服务器环境中，用户通常需要通过CUDA_VISIBLE_DEVICES环境变量来指定可用的GPU设备。例如，当只有4、5、6、7号GPU可用时，会设置：

CUDA_VISIBLE_DEVICES=4,5,6,7

同时，为了充分利用这些GPU资源，用户可能希望启用AUTO_SPLIT功能：

AUTO_SPLIT=1

然而，当前版本的VLMEvalKit在两者同时使用时会出现CUDA错误，导致模型无法正常运行。

技术原因分析

经过项目维护者的确认，这个问题源于模型分割策略的实现方式。目前代码中的auto_split功能存在以下技术限制：

1. 硬编码假设：分割策略默认假设GPU索引从0开始连续编号，没有考虑CUDA_VISIBLE_DEVICES重新映射后的设备索引。

2. 设备映射不一致：当CUDA_VISIBLE_DEVICES指定了非连续的GPU索引时，模型分割逻辑无法正确处理设备映射关系。

3. 模型实现限制：部分模型实现可能只支持在8卡环境下进行自动分割，这是由模型并行策略的特殊需求决定的。

解决方案

针对这个问题，目前有以下几种可行的解决方案：

1. 手动设置设备

在模型构建过程中显式设置设备，绕过自动分割逻辑。这种方法需要修改模型代码，在building阶段明确指定使用的GPU设备。

2. 修改分割策略

对于有能力修改项目代码的用户，可以调整auto_split的实现逻辑，使其能够正确处理CUDA_VISIBLE_DEVICES指定的设备范围。这需要：

1. 获取CUDA_VISIBLE_DEVICES解析后的实际设备列表
2. 根据实际可用设备数量重新计算分割策略
3. 确保模型各部分正确分配到可见设备上

3. 使用完整设备组

如果模型确实需要8卡环境，可以考虑等待完整8卡可用时再运行，或者与服务器管理员协调获取完整的设备组。

最佳实践建议

1. 明确需求：首先确认模型是否必须使用auto_split功能，以及是否支持部分设备分割。

2. 环境检查：运行前检查CUDA_VISIBLE_DEVICES设置是否正确，确保指定的设备确实可用。

3. 逐步测试：先不使用auto_split测试模型是否能正常运行，再逐步引入分割功能。

4. 日志记录：启用详细日志记录，帮助定位分割过程中出现的具体错误。

未来改进方向

从项目维护角度看，这个问题可以通过以下方式改进：

1. 增强auto_split的灵活性，支持任意起始索引的设备组
2. 提供更清晰的错误提示，帮助用户理解限制条件
3. 文档中明确说明auto_split的使用限制和兼容性要求

通过以上分析和解决方案，用户可以更好地在共享GPU环境中合理配置VLMEvalKit的运行参数，充分利用可用计算资源完成模型评估任务。