Effective LLM Alignment Toolkit 使用指南

1. 项目目录结构及介绍

Effective LLM Alignment Toolkit 的项目目录结构如下：

effective_llm_alignment/
├── accelerate/
│   ├── __init__.py
│   └── fsdp_gradop_config.yaml
├── deepspeed_configs/
│   └── ...
├── scripts/
│   ├── __init__.py
│   └── sft.py
├── src/
│   ├── __init__.py
│   ├── accelerate
│   ├── datasets
│   ├── prompts
│   ├── training
│   └── ...
├── training_configs/
│   └── sft/
│       └── sft-phi4-lora-GrandmasterRAG-v4.yaml
├── .gitignore
├── LICENSE
├── README.md
├── poetry.lock
└── pyproject.toml

目录说明：

• accelerate/：包含加速训练的配置文件。
• deepspeed_configs/：存放 DeepSpeed 的配置文件。
• scripts/：包含启动训练脚本。
• src/：源代码目录，包含模型定义、数据处理、提示符优化等模块。
• training_configs/：训练配置文件目录。
• .gitignore：Git 忽略文件列表。
• LICENSE：项目许可证信息。
• README.md：项目说明文件。
• poetry.lock：Poetry 包管理工具的锁文件。
• pyproject.toml：项目配置文件。

2. 项目的启动文件介绍

项目的启动文件位于 scripts/ 目录下，例如 sft.py。该文件是启动训练脚本的入口，它将读取配置文件，并执行模型训练的相关操作。

启动脚本的基本使用方法如下：

PYTHONPATH="${PYTHONPATH}:src/" poetry run accelerate launch --config_file accelerate/fsdp_gradop_config.yaml scripts/sft.py training_configs/sft/sft-phi4-lora-GrandmasterRAG-v4.yaml

参数说明：

• PYTHONPATH：设置 Python 搜索路径，以便能够找到 src/ 目录下的模块。
• poetry run：使用 Poetry 管理项目依赖。
• accelerate launch：启动加速训练的命令。
• --config_file：指定加速训练的配置文件。
• scripts/sft.py：启动脚本文件。
• training_configs/sft/sft-phi4-lora-GrandmasterRAG-v4.yaml：训练配置文件。

3. 项目的配置文件介绍

项目的配置文件位于 training_configs/ 目录下，例如 sft/sft-phi4-lora-GrandmasterRAG-v4.yaml。配置文件使用 YAML 格式，定义了训练过程中的各种参数。

以下是一个配置文件的示例：

model_name_or_path: "unsloth/Meta-Llama-3.1-8B-Instruct"
dataset:
  - "Vikhrmodels/GrandMaster-PRO-MAX"
  - "Vikhrmodels/Grounded-RAG-RU-v2"
train_only_on_completions: True
per_device_train_batch_size: 1
per_device_eval_batch_size: 1
num_train_epochs: 1
save_strategy: "steps"
save_steps: 400
save_total_limit: 6
learning_rate: 0.00004
gradient_accumulation_steps: 8
gradient_checkpointing: True
logging_steps: 1
remove_unused_columns: False
dataloader_num_workers: 2
save_only_model: True
generate_eval_examples: True
use_liger: True
max_seq_length: 16000
evaluation_strategy: "steps"
eval_steps: 400
run_name: "sft-grndmrag-llama-3.1-unsloth-lora-256-qkvogud"

参数说明：

• model_name_or_path：指定预训练模型的路径。
• dataset：训练数据集的路径列表。
• train_only_on_completions：是否只训练完整回答。
• per_device_train_batch_size：每个设备上的训练批次大小。
• per_device_eval_batch_size：每个设备上的评估批次大小。
• num_train_epochs：训练的轮数。
• save_strategy、save_steps、save_total_limit：模型保存的策略和步数限制。
• learning_rate：学习率。
• gradient_accumulation_steps：梯度累积的步数。
• gradient_checkpointing：是否开启梯度检查点。
• logging_steps：日志打印的步数。
• remove_unused_columns：是否移除未使用的列。
• dataloader_num_workers：数据加载器的工作线程数。
• save_only_model：是否只保存模型。
• generate_eval_examples：是否生成评估示例。
• use_liger：是否使用 Liger 内核。
• max_seq_length：最大序列长度。
• evaluation_strategy、eval_steps：评估策略和步数。
• run_name：运行名称。