RWKV-PEFT 项目使用教程

1. 项目目录结构及介绍

RWKV-PEFT 项目目录结构如下：

RWKV-PEFT/
├── .gitignore
├── LICENSE
├── README.md
├── README_zh.md
├── requirements.txt
├── scripts/
│   ├── run_lora.sh
│   ├── run_sft.sh
│   └── ...
├── src/
│   ├── rwkv_datasets/
│   │   └── SFTdataset.py
│   ├── ...
│   └── train.py
└── ...

主要文件和目录说明：

• requirements.txt：包含项目运行所需的所有Python库。
• scripts/：存放项目运行脚本，如启动训练、数据预处理等。
• src/：源代码目录，包含模型的定义、训练逻辑和数据集处理等。
• README.md 和 README_zh.md：分别是项目的英文和中文说明文件。

2. 项目的启动文件介绍

项目的启动主要通过 scripts 目录下的脚本进行。

run_lora.sh

该脚本用于启动基于LoRA方法的模型训练。使用前需要确保已经安装了所有依赖，并正确配置了训练所需的数据集。

启动命令如下：

sh scripts/run_lora.sh

run_sft.sh

该脚本用于启动基于SFT（Soft Finetuning）方法的模型训练。同样，确保安装了所有依赖并配置好数据集。

启动命令如下：

sh scripts/run_sft.sh

3. 项目的配置文件介绍

项目的配置主要通过命令行参数进行，也可以通过修改脚本中的参数进行配置。

以下是一些常用的配置参数：

• --peft：选择PEFT方法，如disha。
• --disha_config：DiSHA方法的配置信息。
• --train_parts：选择训练的部分，如emb, head, time, ln。
• --quant：选择量化训练的类型，如int8或nf4。
• --train_type：选择训练类型，如infctx。
• --chunk_ctx：切片长度，必须小于ctx_len。
• --ctx_len：目标训练长度。
• --dataload：数据加载策略，如pad。
• --strategy：DeepSpeed策略，如deepspeed_stage_1。
• --op：选择运算符，如fla。

通过这些参数，用户可以根据自己的需求调整训练过程，优化模型表现。具体的配置方法可以参考脚本中的例子或官方教程。