training-code 的安装和配置教程

项目基础介绍和主要编程语言

training-code 是一个开源项目，用于执行监督或无监督的微调因果语言模型。该项目基于 HuggingFace 的 Trainer 类，提供了一些额外的功能，如可选的 xFormers 和 LoRA 训练。主要编程语言是 Python。

项目使用的关键技术和框架

项目使用的关键技术包括：

• HuggingFace Trainer 类：用于训练和微调语言模型。
• xFormers：一种内存高效的注意力机制实现。
• LoRA (Low-Rank Adaptation)：一种用于模型微调的技术，能够有效利用 VRAM。

使用的框架主要有：

• Python：基础编程语言。
• PyTorch：深度学习框架。

项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已安装以下依赖项：

• Python 3.x
• pip
• Git

然后，您需要克隆项目仓库到本地：

git clone https://github.com/PygmalionAI/training-code.git
cd training-code

详细安装步骤

1. 安装项目所需的依赖：

   项目提供了一个 requirements.txt 文件，其中列出了所需的依赖项。您可以使用以下命令安装它们：

   pip install -r requirements.txt
   

   如果您希望安装一些额外的包，可以运行：

   pip install -r requirements-recommended.txt
   

2. 准备训练数据：

   训练数据应该是 JSONL（jsonlines）格式的文件，每一行都是一个包含 prompt 和 generation 键的 JSON 对象。损失仅计算 generation 文本中的标记。

   以下是一个数据行的例子：

   {
   "prompt": "你的提示文本",
   "generation": "对应的生成文本"
   }
   

3. 数据预处理：

   使用提供的 tokenize_data_sft.py 脚本来对数据进行分词处理：

   python3 ./preparation/tokenize_data_sft.py --input-file '/path/to/train.jsonl' --output-file '/path/to/train.pythia.arrow' --tokenizer-path 'EleutherAI/pythia-410m-deduped' --max-length 2048
   

   对于评估数据，运行：

   python3 ./preparation/tokenize_data_sft.py --input-file '/path/to/eval.jsonl' --output-file '/path/to/eval.pythia.arrow' --tokenizer-path 'EleutherAI/pythia-410m-deduped' --max-length 2048
   

4. 开始训练：

   主训练入口点是 hf_trainer.py。以下是一个基本的训练命令：

   ./training/hf_trainer.py --model_name_or_path 'EleutherAI/pythia-410m-deduped' --train_file '/path/to/train.pythia.arrow' --eval_file '/path/to/eval.pythia.arrow' --output_dir '/path/to/checkpoints' --do_train --do_eval --report_to 'wandb' ... 其他参数
   

   请根据需要调整命令行参数。

完成这些步骤后，您就可以开始使用 training-code 项目进行语言模型的微调了。