【亲测免费】 Fin-Eva 金融领域中文语言专业数据评测集 使用教程

1. 项目目录结构及介绍

Fin-Eva 数据集旨在评测金融领域的大模型性能，其仓库的目录结构如下：

FinEva v1
├── data # 评测数据集
│   └── Ant # 蚂蚁集团提供的数据
│       ├── 金融认知
│       ├── 金融知识
│       ├── ...
│   └── SUFE # 上海财经大学提供的数据
│       ├── 金融
│       ├── 经济
│       ├── ...
└── src # 源码及相关工具
    ├── utils
    │   └── dataloader.py # 数据加载器
    └── run_scripts # 运行脚本
        ├── example.py # 示例脚本
        └── ...

• data: 包含蚂蚁集团和上海财经大学的数据资源，按能力和学科分类。
• Ant: 蚂蚁集团的数据，分为不同能力维度的子目录。
• SUFE: 上海财经大学的数据，涵盖金融、经济等领域。
• src: 提供用于数据处理和模型测试的源代码。
  • utils: 存放辅助函数，如 dataloader.py 用于加载数据集。
  • run_scripts: 包含示例脚本，如 example.py 可以快速运行数据加载和评估。

2. 项目启动文件介绍

启动文件是 run_scripts/example.py，这是一个演示如何加载和使用 Fin-Eva 数据集的脚本。该脚本包含了如何使用 utils/dataloader.py 来读取数据并构建测试集。当你运行这个脚本时，它将展示如何与数据集交互并进行初步分析。

$ python run_scripts/example.py

此命令将加载数据，根据提供的提示模板生成模型输入，并准备评估模型的输出。

3. 项目的配置文件介绍

该项目没有明显的配置文件，但可以根据具体任务自定义一些参数，例如在使用 dataloader.py 加载数据时可能需要设置数据路径、子任务类型等。这些参数通常会在运行脚本（如 example.py）内硬编码或通过命令行传递。

如果你需要配置特定的参数，可以考虑创建一个配置文件（如 config.json），然后在运行脚本时导入和解析这些配置。这将使配置更具灵活性和可维护性，但请注意，这个步骤需要开发者手动实现。

import json

with open('config.json', 'r') as f:
    config = json.load(f)

# 使用配置参数
data_path = config['data_path']
task_type = config['task_type']

# ...加载数据和进行其他操作

以上就是关于 Fin-Eva 数据集的简单介绍和使用指南。要深入了解项目详情，建议查看仓库的 README.md 和其他源代码文件。