Alpaca-7B 中文项目使用教程

目录结构及介绍

alpaca-7b-chinese/
├── data/
│   ├── alpaca_data.json
│   ├── alpaca_data_cleansed.json
│   ├── alpaca-zhCN.json
│   ├── alpaca-zhTW.json
│   └── alpaca-en-zh.json
├── finetune/
│   ├── finetune.py
│   └── requirements.txt
├── README.md
└── requirements.txt

• data/：包含项目使用的各种数据集文件。
  • alpaca_data.json：原始数据集。
  • alpaca_data_cleansed.json：清洗后的数据集。
  • alpaca-zhCN.json：简体中文翻译数据集。
  • alpaca-zhTW.json：繁体中文翻译数据集。
  • alpaca-en-zh.json：英文指令/输入和中文输出的组合数据集。
• finetune/：包含微调脚本和依赖文件。
  • finetune.py：微调脚本。
  • requirements.txt：微调所需的依赖文件。
• README.md：项目说明文档。
• requirements.txt：项目依赖文件。

项目的启动文件介绍

项目的启动文件位于 finetune/ 目录下的 finetune.py。该文件用于微调模型，具体使用方法如下：

cd finetune/
python finetune.py --base_model decapoda-research/llama-7b-hf --data_dir /data/alpaca-en-zh.json --output_dir /finetuned/llama-7b-hf_alpaca-en-zh --lora_target_modules '["q_proj", "v_proj"]'

• --base_model：指定基础模型。
• --data_dir：指定数据集路径。
• --output_dir：指定输出路径。
• --lora_target_modules：指定LoRA目标模块。

项目的配置文件介绍

项目的配置文件主要包括 requirements.txt 和 finetune/requirements.txt。

主目录下的 requirements.txt

该文件列出了项目运行所需的基本依赖包，例如：

torch==1.13.1+cu116
torchvision==0.14.1+cu116
torchaudio==0.13.1+cu116

finetune/ 目录下的 requirements.txt

该文件列出了微调脚本所需的依赖包，例如：

transformers==4.25.1
datasets==2.7.1

通过安装这些依赖包，可以确保项目和微调脚本的正常运行。

pip install -r requirements.txt
pip install -r finetune/requirements.txt

以上是 Alpaca-7B 中文项目 的使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望对您有所帮助。