解决lm-evaluation-harness中modelscope依赖导致的问题

在使用lm-evaluation-harness项目进行模型评估时，可能会遇到由于modelscope依赖导致的各种问题。本文将详细分析这些问题并提供解决方案。

问题背景

当在Alibaba Cloud等环境中运行评估代码时，modelscope的安装可能会引发一系列问题。这些问题主要出现在数据集加载和模型初始化两个环节。

主要问题表现

1. 数据集加载失败：modelscope会尝试从modelscope.cn下载数据集，但由于modelscope和huggingface上的数据集命名不一致，导致加载失败，出现"不存在的数据集"错误。

2. 模型初始化异常：当VLLM_USE_MODELSCOPE设置为True时，vllm会加载modelscope并失败，且不会报告明确的异常，最终导致LLM未定义错误。

解决方案

数据集加载问题解决

可以通过修改任务配置文件中的数据集名称来解决。例如对于gsm8k任务，可以在对应的yaml配置文件中调整数据集来源。

模型初始化问题解决

设置环境变量VLLM_USE_MODELSCOPE=0可以避免vllm加载modelscope。同时建议卸载modelscope以避免潜在的冲突：

pip uninstall modelscope -y
export VLLM_USE_MODELSCOPE=0

最佳实践建议

1. 明确数据源：在使用lm-evaluation-harness时，明确指定数据源为huggingface而非modelscope。

2. 环境隔离：建议在虚拟环境中运行评估，避免系统级的依赖冲突。

3. 错误排查：当遇到模型加载问题时，首先检查环境变量设置是否正确，特别是VLLM相关的配置。

4. 版本控制：保持lm-evaluation-harness和相关依赖库的版本兼容性。

通过以上措施，可以有效避免因modelscope依赖导致的各种问题，确保模型评估流程的顺利进行。