LLM-Finetuning-Toolkit 使用教程

项目介绍

LLM-Finetuning-Toolkit 是一个基于配置的 CLI 工具，用于在您的数据上启动一系列 LLM 微调实验并收集其结果。通过一个 YAML 配置文件，您可以控制典型实验流水线的所有元素，包括提示词、开源 LLM、优化策略和 LLM 测试。

该工具包的主要功能包括：

• 通过 YAML 配置文件进行管理，支持 LLM 微调的各个方面。
• 支持运行消融研究，比较不同 LLM 和优化策略的效果。
• 自动记录和保存实验结果，便于后续分析和生产部署。

项目快速启动

安装

推荐使用 pipx 进行安装：

pipx install llm-toolkit

或者使用 pip 安装：

pip install llm-toolkit

快速开始

1. 生成配置文件：

llmtune generate config

2. 运行微调实验：

llmtune run /config.yml

应用案例和最佳实践

案例1：自定义提示词微调

假设您有一个特定的任务，需要微调 LLM 以生成符合特定格式的输出。您可以通过修改 YAML 配置文件中的 prompt 字段来实现：

data:
  file_type: "huggingface"
  path: "yahma/alpaca-cleaned"
  prompt: ### 指令： [instruction] ### 输入： [input] ### 输出：
  prompt_stub: [ output ]
  test_size: 0.1
  train_size: 0.9
  train_test_split_seed: 42

案例2：跨模型消融研究

您可以通过配置文件指定多个 LLM 模型进行消融研究，比较它们在同一任务上的表现：

model:
  hf_model_ckpt:
    - "NousResearch/Llama-2-7b-hf"
    - "mistralai/Mistral-7B-v0.1"
    - "tiiuae/falcon-7b"
  quantize: true
  bitsandbytes:
    load_in_4bit: true
    bnb_4bit_compute_dtype: "bf16"
    bnb_4bit_quant_type: "nf4"

典型生态项目

1. Hugging Face Transformers

Hugging Face 的 Transformers 库是一个广泛使用的开源库，支持多种预训练语言模型，如 BERT、GPT-2 和 T5。LLM-Finetuning-Toolkit 可以与 Hugging Face Transformers 无缝集成，方便用户在本地进行模型微调和实验。

2. Flash Attention

Flash Attention 是一个高效的注意力机制实现，可以显著提升模型训练速度。LLM-Finetuning-Toolkit 支持 Flash Attention 2，用户可以通过配置文件启用该功能，进一步提升微调实验的效率。

3. LoRA (Low-Rank Adaptation)

LoRA 是一种轻量级的模型微调方法，适用于资源受限的环境。LLM-Finetuning-Toolkit 支持 LoRA 参数配置，用户可以根据需求调整 LoRA 的秩和丢包率，以达到最佳的微调效果。

通过这些生态项目的支持，LLM-Finetuning-Toolkit 为用户提供了强大的工具集，帮助他们在本地环境中高效地进行 LLM 微调和实验。