LLM Compressor 使用教程

1. 项目目录结构及介绍

llmcompressor 项目是一个用于优化模型部署的开源库，其目录结构如下：

.
├── .github/                  # GitHub 相关配置文件
├── docs/                     # 项目文档
├── examples/                 # 使用示例
├── src/                      # 源代码
│   └── llmcompressor/        # llmcompressor 库代码
├── tests/                    # 测试代码
├── utils/                    # 工具类代码
├── .MAINTAINERS              # 项目维护者列表
├── .gitignore                # Git 忽略文件列表
├── CONTRIBUTING.md           # 贡献指南
├── DEVELOPING.md             # 开发指南
├── LICENSE                   # 许可证文件
├── MANIFEST.in               # 打包时包含的文件列表
├── Makefile                  # Makefile 文件
├── NOTICE                    # 法律声明文件
├── README.md                 # 项目说明文件
├── pyproject.toml            # 项目配置文件
├── setup.py                  # 安装脚本
└── ...

• .github/：包含 GitHub 的工作流和其他相关配置。
• docs/：存放项目文档，包括安装、使用和贡献指南。
• examples/：包含一些使用 llmcompressor 的示例代码。
• src/llmcompressor/：项目的核心代码库。
• tests/：包含单元测试和其他测试代码。
• utils/：包含一些通用的工具类代码。
• 其他文件如 .gitignore、Makefile、README.md 等为项目通用配置和说明文件。

2. 项目的启动文件介绍

项目的启动主要是通过 Python 包管理工具 pip 来安装 llmcompressor。以下为启动步骤：

1. 克隆或下载项目到本地。
2. 在项目根目录下打开终端。
3. 运行 pip install . 命令安装库。

安装完成后，可以通过 Python 直接导入 llmcompressor 库并使用其提供的 API。

3. 项目的配置文件介绍

llmcompressor 的配置主要通过代码中的参数进行，例如在量化模型时，可以通过以下方式配置量化算法和参数：

from llmcompressor import oneshot
from llmcompressor.modifiers import SmoothQuantModifier, GPTQModifier

recipe = [
    SmoothQuantModifier(smoothing_strength=0.8),
    GPTQModifier(scheme="W8A8", targets="Linear", ignore=["lm_head"]),
]

oneshot(
    model="TinyLlama/TinyLlama-1.1B-Chat-v1.0",
    dataset="open_platypus",
    recipe=recipe,
    output_dir="TinyLlama-1.1B-Chat-v1.0-INT8",
    max_seq_length=2048,
    num_calibration_samples=512,
)

在这段代码中，recipe 列表定义了量化过程中使用的算法和参数。oneshot 函数则是启动量化过程，其中包含了模型名称、数据集、量化配置、输出目录等参数。

目前项目没有提供单独的配置文件，所有配置均通过代码参数进行。如果需要调整配置，直接修改代码中的参数即可。