ExLlamaV2 开源项目使用教程

1. 项目介绍

ExLlamaV2 是一个用于在现代消费级 GPU 上运行本地大型语言模型（LLMs）的快速推理库。它支持 GPTQ 和 EXL2 量化的模型，能够在本地或远程进行推理，并提供与 OpenAI 兼容的 API。ExLlamaV2 的官方推荐后端服务器是 TabbyAPI，它提供了模型下载、嵌入模型支持和 HF Jinja2 聊天模板等扩展功能。

2. 项目快速启动

安装依赖

首先，确保你已经安装了 CUDA Toolkit 和 PyTorch。然后，按照以下步骤进行安装：

# 克隆项目仓库
git clone https://github.com/turboderp/exllamav2.git
cd exllamav2

# 安装依赖
pip install -r requirements.txt
pip install .

运行示例

安装完成后，你可以运行一个简单的推理测试：

python test_inference.py -m <path_to_model> -p "Once upon a time"

如果你想使用多 GPU 进行推理，可以添加 --gpu_split auto 标志：

python test_inference.py -m <path_to_model> -p "Once upon a time" --gpu_split auto

启动聊天机器人

项目还包含一个简单的控制台聊天机器人，你可以通过以下命令启动：

python examples/chat.py -m <path_to_model> -mode llama -gs auto

3. 应用案例和最佳实践

应用案例

ExLlamaV2 可以用于各种需要本地推理的场景，例如：

• 本地聊天机器人：通过 ExLlamaV2 和 TabbyAPI，你可以在本地运行一个聊天机器人，无需依赖云服务。
• 模型性能测试：ExLlamaV2 提供了详细的性能测试脚本，可以帮助你评估不同模型的推理速度。

最佳实践

• 选择合适的模型：根据你的 GPU 内存大小选择合适的模型，以确保最佳的推理性能。
• 优化 GPU 使用：使用 --gpu_split auto 标志可以自动分配 GPU 资源，提高推理效率。

4. 典型生态项目

TabbyAPI

TabbyAPI 是 ExLlamaV2 的官方推荐后端服务器，提供了 OpenAI 兼容的 API，支持本地或远程推理。它还提供了模型下载、嵌入模型支持和 HF Jinja2 聊天模板等扩展功能。

text-generation-webui

text-generation-webui 是一个基于 Web 的用户界面，支持 ExLlamaV2 通过 exllamav2 和 exllamav2_HF 加载器进行推理。

lollms-webui

lollms-webui 是另一个支持 ExLlamaV2 的 Web 用户界面，通过 exllamav2 绑定进行推理。

通过这些生态项目，你可以更方便地集成和使用 ExLlamaV2 进行本地推理。