LMMs-Eval项目中gen_kwargs参数传递问题的分析与修复

在大型多模态模型（LMM）评估框架LMMs-Eval的实际应用中，开发团队发现了一个关于生成参数(gen_kwargs)传递的重要技术问题。该问题会影响模型评估的准确性和一致性，特别是在连续请求场景下。

问题现象

当用户通过命令行接口(CLI)指定生成参数时，系统在处理连续评估请求时会出现参数异常丢失的情况。具体表现为：

1. 前几次请求能正常处理参数
2. 后续请求中某些参数会"提前消失"
3. 参数变化呈现非确定性特征

技术分析

经过深入排查，发现问题根源在于Python的对象引用机制。评估框架中，生成参数(gen_kwargs)在请求间的传递采用了浅拷贝(shallow copy)方式，这导致：

1. 参数字典在多次请求间共享同一内存地址
2. 任何一处修改都会影响后续所有请求
3. 参数pop操作会产生连锁反应

这种设计在单次请求场景下工作正常，但在连续评估多个样本时就会暴露问题。

解决方案

开发团队采用了Python标准库中的copy.deepcopy()方法进行修复，这种深度拷贝方式能够：

1. 为每个请求创建完全独立的参数副本
2. 确保请求间的参数完全隔离
3. 保持原始参数配置不变性

技术启示

这个问题给我们的启示包括：

1. 在构建评估框架时，必须考虑状态隔离
2. CLI参数与配置文件参数的优先级处理需要谨慎设计
3. Python可变对象的传递需要特别注意

影响范围

该修复主要影响以下使用场景：

1. 连续评估多个模型或样本
2. 使用CLI动态指定生成参数
3. 需要修改默认生成配置的情况

最佳实践建议

基于此问题的经验，建议开发者在类似场景中：

1. 明确区分配置的只读和可变部分
2. 对关键参数采用防御性拷贝
3. 建立参数传递的单元测试

这个问题的解决提升了LMMs-Eval框架的稳定性和可靠性，为大规模多模态模型评估提供了更坚实的基础。