OpenCompass 中 Qwen2-7B 模型 GPU 显存加载问题分析与解决方案

问题现象

在使用 OpenCompass 评估 Qwen2-7B 模型时，发现 GPU 显存加载存在不均匀现象。具体表现为：

1. 模型参数在多 GPU 间的切分不均匀
2. 数据集加载在不同 GPU 上分配不均
3. 部分 GPU（如第7张卡）几乎未被利用

环境分析

测试环境配置如下：

• GPU：8×Tesla V100-PCIE-32GB
• PyTorch：2.3.1+cu118
• OpenCompass：0.2.6+

问题根源

该问题源于 HuggingFace 默认的模型加载方式。OpenCompass 当前使用的是 HuggingFace 原生的模型并行策略，这种策略在某些模型架构下可能导致：

1. 模型层间依赖关系导致切分困难
2. 注意力机制等特殊结构影响参数分布
3. 数据并行策略与模型并行策略的协调问题

解决方案建议

1. 使用高效推理引擎

推荐使用以下替代方案：

• LMDeploy：专为大规模语言模型优化的推理框架
• vLLM：高性能推理引擎，支持连续批处理和高效内存管理

这些引擎针对大模型推理进行了专门优化，能够更好地处理显存分配问题。

2. 分布式策略选择

当前 OpenCompass 的 HuggingFace 后端采用单进程多卡模式。虽然不支持原生的 DDP（分布式数据并行），但可以通过以下方式优化：

1. 对于自定义模型结构，建议实现自定义的分布式策略
2. 考虑模型并行与数据并行的混合策略
3. 优化数据加载器的批处理策略

性能优化建议

1. 批处理大小调整：根据显存情况动态调整批处理大小
2. 混合精度训练：使用 fp16 或 bf16 减少显存占用
3. 梯度检查点：激活梯度检查点技术减少显存需求
4. 显存监控：实时监控各 GPU 显存使用情况，调整负载均衡

未来发展方向

OpenCompass 团队可以考虑：

1. 增加对更多分布式策略的支持
2. 优化模型切分算法
3. 提供更灵活的资源配置选项
4. 增强对自定义模型架构的支持

通过以上改进，可以更好地支持大规模语言模型的高效评估。