PB-LLM 项目使用教程

1. 项目的目录结构及介绍

PB-LLM/
├── gptq_pb/
├── qat/
│   ├── run_qat.py
│   ├── eval_after_qat.py
├── quant/
├── .gitignore
├── LICENSE
├── README.md
├── datautils.py
├── evaluate.py
├── mmlu_avg.py
├── utils.py

• gptq_pb/: 包含与 GPTQ 算法相关的文件。
• qat/: 量化感知训练（Quantization Aware Training）的实现文件夹，包含训练和评估脚本。
• quant/: 量化相关的文件夹。
• .gitignore: Git 忽略文件。
• LICENSE: 项目许可证。
• README.md: 项目说明文档。
• datautils.py: 数据处理工具。
• evaluate.py: 评估脚本。
• mmlu_avg.py: 计算 MMLU 平均分的脚本。
• utils.py: 通用工具函数。

2. 项目的启动文件介绍

qat/run_qat.py

该文件用于启动量化感知训练。示例命令：

CUDA_VISIBLE_DEVICES='0' python qat/run_qat.py --binarization_method=xnor_outlier --model_id=facebook/opt-125m --train_step=20 --dataset=red_pajama --outlier_fraction=0.1

qat/eval_after_qat.py

该文件用于在量化感知训练后进行模型评估。示例命令：

CUDA_VISIBLE_DEVICES='0' python qat/eval_after_qat.py outputs/facebook/opt-125m/xnor_outlier_0.1_20 --model_id=facebook/opt-125m

3. 项目的配置文件介绍

项目中没有显式的配置文件，但可以通过命令行参数进行配置。例如：

• --binarization_method: 二值化方法。
• --model_id: 模型ID。
• --train_step: 训练步数。
• --dataset: 数据集。
• --outlier_fraction: 异常值比例。

这些参数可以在 run_qat.py 和 eval_after_qat.py 中进行配置。