EvalScope 项目使用教程

1. 项目目录结构及介绍

EvalScope 项目的目录结构如下：

evalscope/
├── docker/
├── docs/
├── evalscope/
├── examples/
├── requirements/
├── tests/
├── .gitignore
├── pre-commit-config.yaml
├── pre-commit-config_local.yaml
├── LICENSE
├── Makefile
├── README.md
├── README_zh.md
├── linter.sh
├── requirements.txt
├── setup.cfg
├── setup.py
└── viz.py

目录介绍

• docker/: 包含 Docker 相关的文件，用于容器化部署。
• docs/: 包含项目的文档文件，包括用户指南、API 文档等。
• evalscope/: 项目的主要代码目录，包含核心功能实现。
• examples/: 包含示例代码，帮助用户快速上手。
• requirements/: 包含项目的依赖文件。
• tests/: 包含项目的测试代码。
• .gitignore: Git 忽略文件配置。
• pre-commit-config.yaml: 预提交钩子配置文件。
• pre-commit-config_local.yaml: 本地预提交钩子配置文件。
• LICENSE: 项目许可证文件。
• Makefile: 用于自动化构建和测试的 Makefile。
• README.md: 项目的英文介绍文档。
• README_zh.md: 项目的中文介绍文档。
• linter.sh: 代码风格检查脚本。
• requirements.txt: 项目依赖列表。
• setup.cfg: 项目配置文件。
• setup.py: 项目安装脚本。
• viz.py: 可视化工具脚本。

2. 项目启动文件介绍

项目的启动文件主要位于 evalscope/ 目录下。以下是一些关键的启动文件：

• evalscope/run.py: 这是项目的主要启动文件，用于执行模型评估任务。用户可以通过命令行参数指定模型和数据集进行评估。

启动示例

python evalscope/run.py \
    --model qwen/Qwen2-0.5B-Instruct \
    --template-type qwen \
    --datasets arc

3. 项目的配置文件介绍

项目的配置文件主要包括以下几个：

• setup.cfg: 项目的基本配置文件，包含项目的元数据、依赖信息等。
• requirements.txt: 项目的依赖列表，列出了项目运行所需的所有 Python 包。
• pre-commit-config.yaml: 预提交钩子的配置文件，用于在提交代码前自动执行代码检查和格式化。

setup.cfg 示例

[metadata]
name = evalscope
version = 0.1.0
description = A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
author = ModelScope
author_email = [e-mail]
license = Apache-2.0

[options]
packages = find:
install_requires =
    numpy
    pandas
    torch
    transformers

requirements.txt 示例

numpy==1.21.2
pandas==1.3.3
torch==1.9.0
transformers==4.10.0

pre-commit-config.yaml 示例

repos:
  - repo: https://github.com/pre-commit/pre-commit-hooks
    rev: v4.0.1
    hooks:
      - id: trailing-whitespace
      - id: end-of-file-fixer
      - id: check-yaml
      - id: check-added-large-files

通过以上配置文件，用户可以轻松管理项目的依赖、配置和代码风格。