SelFee 的安装和配置教程

项目的基础介绍和主要的编程语言

SelFee 是一个由韩国科学技术院（KAIST）人工智能研究团队开发的开源项目，旨在构建并共享一个指令遵循的LLaMA模型。该模型通过自我反馈机制进行迭代自我修正，从而提高其响应的质量和准确性。该项目主要使用 Python 编程语言，依赖于深度学习库 PyTorch 进行模型训练和推理。

项目使用的关键技术和框架

• PyTorch: 用于深度学习模型的训练和推理。
• Transformers: 一个基于 PyTorch 的库，提供了大量的预训练模型和易于使用的API。
• OpenAI API: 在数据生成过程中，使用 OpenAI 的 API 来生成指令和反馈。

项目安装和配置的准备工作和详细的安装步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.7 或更高版本
• PyTorch
• Git

安装步骤

1. 克隆项目仓库

   打开命令行终端，运行以下命令克隆 SelFee 的项目仓库：

   git clone https://github.com/kaistAI/SelFee.git
   cd SelFee
   

2. 安装依赖

   在项目目录中，使用 pip 安装 requirements.txt 文件中列出的依赖项：

   pip install -r requirements.txt
   

3. 下载预训练模型

   根据项目文档，你可能需要下载预训练的 LLaMA 模型。由于项目文档中提到了使用 llama-7b 模型，你需要从相应的资源下载该模型，并放置在合适的位置。

4. 准备数据

   SelFee 项目使用特定的数据集进行训练。你需要按照项目文档中的说明准备和合并数据集。这可能包括从不同来源收集数据、数据预处理和数据合并步骤。

5. 训练模型

   根据项目文档提供的命令，使用 torchrun 命令开始训练模型。以下是一个示例命令，但请注意，你需要根据你的系统资源调整 --nproc_per_node 参数：

   torchrun --nproc_per_node=4 train/train_mem.py \
   --model_name_or_path llama-7b \
   --data_path outputs/feedback_gpt_3.5_turbo_merged_whole.json \
   --bf16 True \
   --output_dir ckpt/selfee-7b \
   --num_train_epochs 3 \
   --per_device_train_batch_size 16 \
   --per_device_eval_batch_size 16 \
   --gradient_accumulation_steps 2 \
   --evaluation_strategy "no" \
   --save_strategy "steps" \
   --save_steps 5000 \
   --save_total_limit 1 \
   --learning_rate 2e-5 \
   --weight_decay 0. \
   --warmup_ratio 0.03 \
   --lr_scheduler_type "cosine" \
   --logging_steps 1 \
   --fsdp "shard_grad_op auto_wrap" \
   --fsdp_transformer_layer_cls_to_wrap 'LlamaDecoderLayer' \
   --tf32 True \
   --model_max_length 2048 \
   --gradient_checkpointing True \
   --lazy_preprocess True \
   --training_objective full
   

6. 模型推理

   训练完成后，你可以使用项目提供的推理脚本进行模型推理。以下是一个启动推理的示例命令：

   python inference/inference.py --model-path "ckpt/selfee-7b" --model-id "selfee" --question-file "evaluation/template/question.jsonl" --answer-file "evaluation/answer/selfee_7b_autonomous.jsonl"
   

请确保在每一步中都仔细阅读项目文档，并根据你的具体环境调整配置和命令。