OpenCompass多GPU与单GPU性能优化实践：Llama-3模型评估中的配置要点

在大型语言模型评估过程中，GPU资源的合理配置直接影响评估效率。本文基于OpenCompass项目中的实际案例，深入分析多GPU与单GPU配置的性能差异问题，并提供专业解决方案。

问题现象分析

用户在使用OpenCompass评估Llama-3-8B-Instruct模型时发现：

1. 当设置run_cfg=dict(num_gpus=8)和run_cfg=dict(num_gpus=1)时，评估耗时几乎相同
2. 系统监控显示GPU利用率未达到预期水平

这种现象表明GPU资源未被充分利用，需要从模型并行和数据并行两个维度进行优化。

技术原理剖析

1. 模型并行(Tensor Parallelism)

• 核心参数：tp(tensor parallel)值
• 作用：将模型参数拆分到多个GPU上
• 特点：适合单个大模型推理，减少单卡显存压力
• 配置位置：engine_config字典中

2. 数据并行(Data Parallelism)

• 核心参数：num_worker值
• 作用：同时处理多个输入样本
• 特点：适合批量推理场景，提高吞吐量
• 配置位置：infer配置部分

解决方案实践

方案一：模型并行配置

engine_config=dict(
    max_batch_size=16,
    tp=8  # 关键参数，设置为GPU数量
)

方案二：数据并行配置

infer = dict(
    partitioner=dict(
        type='NumWorkerPartitioner',
        num_worker=8  # 工作进程数等于GPU数
    ),
    runner=dict(
        type='LocalRunner',
        task=dict(type='OpenICLInferTask')
    )
)

性能优化建议

1. 混合并行策略：对于超大模型(如70B级别)，建议同时使用模型并行和数据并行
2. 批处理优化：合理设置max_batch_size避免内存溢出
3. 监控验证：使用nvidia-smi命令实时监控GPU利用率
4. 资源匹配：确保tp值与实际GPU数量一致

典型配置示例

# 完整优化配置示例
models = [
    dict(
        type='TurboMindModelwithChatTemplate',
        engine_config=dict(
            max_batch_size=16,
            tp=8  # 模型并行
        ),
        # ...其他参数...
        run_cfg=dict(num_gpus=8),
    )
]

# 数据并行配置
infer = dict(
    partitioner=dict(
        type='NumWorkerPartitioner',
        num_worker=8
    ),
    # ...其他配置...
)

通过正确配置这些参数，可以显著提升OpenCompass在大型语言模型评估时的GPU利用率，缩短评估时间。建议用户根据具体硬件条件和模型规模选择合适的并行策略组合。