TinyChatEngine 项目下载及安装教程

1. 项目介绍

TinyChatEngine 是一个用于在边缘设备上运行大型语言模型（LLM）和视觉语言模型（VLM）的推理库。它通过模型压缩技术（如 SmoothQuant 和 AWQ）实现了低精度的模型推理，使得用户可以在笔记本电脑、汽车、机器人等设备上获得即时响应，同时保护数据隐私。

2. 项目下载位置

要下载 TinyChatEngine 项目，请使用以下命令：

git clone --recursive https://github.com/mit-han-lab/TinyChatEngine.git

3. 项目安装环境配置

3.1 MacOS 环境配置

在 MacOS 上，您需要安装 boost 和 llvm 库。可以使用 Homebrew 进行安装：

brew install boost
brew install llvm

对于 M1/M2 用户，还需要从 App Store 安装 Xcode，以启用 Metal 编译器支持 GPU。

3.2 Windows 环境配置

3.2.1 Windows with CPU

在 Windows 上，您需要下载并安装 GCC 编译器和 MSYS2。请按照以下步骤操作：

1. 下载并安装 MSYS2：MSYS2 安装教程
2. 安装所需的依赖项：

pacman -S --needed base-devel mingw-w64-x86_64-toolchain make unzip git

3. 将二进制目录（例如 C:\msys64\mingw64\bin 和 C:\msys64\usr\bin）添加到环境路径中。

3.2.2 Windows with Nvidia GPU (实验性)

1. 安装 CUDA 工具包：CUDA 安装教程
2. 安装 Visual Studio，并确保支持 C 和 C++ 开发。

4. 项目安装方式

4.1 下载项目

使用以下命令下载项目：

git clone --recursive https://github.com/mit-han-lab/TinyChatEngine.git
cd TinyChatEngine

4.2 安装 Python 包

TinyChatEngine 的主要代码库是用纯 C/C++ 编写的，Python 包仅用于从模型库中下载（和转换）模型。

conda create -n TinyChatEngine python=3.10 pip -y
conda activate TinyChatEngine
pip install -r requirements.txt

4.3 下载量化模型

根据您的设备类型，下载相应的量化模型：

4.3.1 x86 设备

cd llm
python tools/download_model.py --model LLaMA_3_8B_Instruct_awq_int4 --QM QM_x86

4.3.2 ARM 设备

cd llm
python tools/download_model.py --model LLaMA_3_8B_Instruct_awq_int4 --QM QM_ARM

4.3.3 CUDA 设备

cd llm
python tools/download_model.py --model LLaMA2_7B_chat_awq_int4 --QM QM_CUDA

4.4 编译并启动聊天

根据您的平台，修改 Makefile 中的相应配置，然后编译并启动聊天：

make chat -j

5. 项目处理脚本

TinyChatEngine 提供了一些处理脚本，用于下载和转换模型。以下是一些常用的脚本：

5.1 下载模型脚本

python tools/download_model.py --model <模型名称> --QM <量化方法>

5.2 编译脚本

make chat -j

5.3 启动聊天脚本

./chat

通过以上步骤，您可以成功下载并安装 TinyChatEngine 项目，并开始在您的设备上运行大型语言模型和视觉语言模型。