ChatGLM-6B 安装和配置指南

1. 项目基础介绍和主要编程语言

项目介绍

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

主要编程语言

该项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

关键技术

• General Language Model (GLM): 该项目基于 GLM 架构，具有强大的语言理解和生成能力。
• 模型量化技术: 通过量化技术，用户可以在消费级显卡上运行模型，降低硬件要求。

框架

• Transformers: 使用 Hugging Face 的 Transformers 库来加载和管理模型。
• PyTorch: 作为深度学习框架，用于模型的训练和推理。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

1. 操作系统: 支持 Linux、Windows 和 macOS。
2. Python 环境: 建议使用 Python 3.7 或更高版本。
3. 硬件要求:
   • 推理：INT4 量化级别下最低 6GB 显存。
   • 高效参数微调：INT4 量化级别下最低 7GB 显存。

详细安装步骤

步骤 1：克隆项目仓库

首先，从 GitHub 克隆 ChatGLM-6B 项目仓库到本地：

git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B

步骤 2：安装依赖

使用 pip 安装项目所需的依赖：

pip install -r requirements.txt

确保 transformers 库版本不低于 4.23.1。

步骤 3：下载模型

如果你希望从本地加载模型，可以手动下载模型参数文件并将其放置在项目目录下。否则，代码会自动从 Hugging Face Hub 下载模型。

步骤 4：运行 Demo

项目提供了基于 Gradio 的网页版 Demo 和命令行 Demo。

网页版 Demo

首先安装 Gradio：

pip install gradio

然后运行网页版 Demo：

python web_demo.py

程序会运行一个 Web Server，并在浏览器中输出地址，打开该地址即可使用。

命令行 Demo

运行命令行 Demo：

python cli_demo.py

程序会在命令行中进行交互式的对话，输入指示并回车即可生成回复。

步骤 5：API 部署（可选）

如果你希望部署 API，首先安装额外的依赖：

pip install fastapi uvicorn

然后运行 API 服务：

python api.py

默认部署在本地的 8000 端口，可以通过 POST 方法进行调用。

总结

通过以上步骤，你可以成功安装和配置 ChatGLM-6B 项目，并运行其提供的 Demo 和 API 服务。希望这篇指南能帮助你顺利上手该项目。