SikuBERT 项目使用教程

1. 项目的目录结构及介绍

SikuBERT 项目的目录结构如下：

SikuBERT-for-digital-humanities-and-classical-Chinese-information-processing/
├── README.md
├── requirements.txt
├── data/
│   ├── processed/
│   └── raw/
├── models/
│   ├── checkpoints/
│   └── pretrained/
├── scripts/
│   ├── train.py
│   ├── evaluate.py
│   └── predict.py
├── config/
│   ├── default_config.yaml
│   └── custom_config.yaml
└── utils/
    ├── data_utils.py
    ├── model_utils.py
    └── eval_utils.py

目录结构介绍

• README.md: 项目说明文档。
• requirements.txt: 项目依赖文件。
• data/: 数据目录，包含原始数据 (raw/) 和处理后的数据 (processed/)。
• models/: 模型目录，包含训练过程中的检查点 (checkpoints/) 和预训练模型 (pretrained/)。
• scripts/: 脚本目录，包含训练 (train.py)、评估 (evaluate.py) 和预测 (predict.py) 脚本。
• config/: 配置文件目录，包含默认配置 (default_config.yaml) 和自定义配置 (custom_config.yaml)。
• utils/: 工具函数目录，包含数据处理 (data_utils.py)、模型处理 (model_utils.py) 和评估处理 (eval_utils.py) 工具函数。

2. 项目的启动文件介绍

项目的启动文件主要位于 scripts/ 目录下，包括：

• train.py: 用于训练模型的脚本。
• evaluate.py: 用于评估模型性能的脚本。
• predict.py: 用于进行预测的脚本。

启动文件介绍

• train.py:

  • 功能：训练 SikuBERT 模型。
  • 使用方法：通过命令行运行 python scripts/train.py，可以指定配置文件路径和其他参数。

• evaluate.py:

  • 功能：评估训练好的模型性能。
  • 使用方法：通过命令行运行 python scripts/evaluate.py，可以指定模型路径和数据集路径。

• predict.py:

  • 功能：使用训练好的模型进行预测。
  • 使用方法：通过命令行运行 python scripts/predict.py，可以指定模型路径和输入文本。

3. 项目的配置文件介绍

项目的配置文件位于 config/ 目录下，包括：

• default_config.yaml: 默认配置文件。
• custom_config.yaml: 自定义配置文件。

配置文件介绍

• default_config.yaml:

  • 包含模型的默认参数设置，如学习率、批大小、训练轮数等。
  • 使用方法：在训练、评估和预测脚本中，可以通过指定 --config 参数来加载该配置文件。

• custom_config.yaml:

  • 用于自定义模型参数设置，可以根据具体需求修改。
  • 使用方法：在训练、评估和预测脚本中，可以通过指定 --config 参数来加载该配置文件。

以上是 SikuBERT 项目的基本使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望对您有所帮助！