EvalScope 开源项目使用教程

1. 项目介绍

EvalScope 是一个高效且可定制的大模型评估和性能基准测试框架。它旨在支持大规模语言模型（LLMs）和多模态大语言模型（Multi-modal LLMs）的评估，帮助用户更好地评估和改进这些模型。

主要特点

• 基准数据集：预加载了多个常用的测试基准，包括 MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH、HumanEval 等。
• 评估指标：实现了多种常用的评估指标。
• 模型访问：统一的模型访问机制，兼容多个模型家族的生成和聊天接口。
• 自动化评估：包括客观问题的自动评估和使用专家模型的复杂任务评估。
• 评估报告：自动生成评估报告。
• 竞技场模式：用于模型之间的比较和客观评估，支持多种评估模式。
• 可视化工具：提供直观的评估结果展示。
• 模型性能评估：提供模型推理服务的性能测试工具和详细统计。

2. 项目快速启动

安装

推荐使用 conda 管理环境，并通过 pip 安装依赖。

# 创建 conda 环境（可选）
conda create -n evalscope python=3.10
# 激活 conda 环境
conda activate evalscope
# 安装依赖
pip install evalscope

快速启动示例

以下是一个简单的评估示例，使用默认设置在指定数据集上评估模型。

# 使用 pip 安装后执行
python -m evalscope.run \
  --model qwen/Qwen2-0.5B-Instruct \
  --template-type qwen \
  --datasets arc

3. 应用案例和最佳实践

案例1：模型性能评估

假设你有一个自定义的模型，并希望评估其在 MMLU 数据集上的表现。可以使用 EvalScope 进行评估并生成详细的评估报告。

python -m evalscope.run \
  --model custom/MyModel \
  --template-type custom \
  --datasets mmlu

案例2：多模态模型评估

如果你有一个多模态模型，并希望在多模态数据集上进行评估，可以使用 VLMEvalKit 作为评估后端。

pip install evalscope[vlmeval]
python -m evalscope.run \
  --model multimodal/MyModel \
  --template-type multimodal \
  --datasets vlm_dataset

4. 典型生态项目

OpenCompass

OpenCompass 是一个高级封装和任务简化的评估后端，支持更简单的任务提交和评估。

pip install evalscope[opencompass]

VLMEvalKit

VLMEvalKit 是一个支持多模态模型和数据集的评估后端，适用于多模态模型的评估任务。

pip install evalscope[vlmeval]

通过这些生态项目的集成，EvalScope 提供了更全面的模型评估解决方案，帮助用户在不同场景下高效地评估模型性能。