【亲测免费】 GLM-4系列模型安装与配置指南

项目基础介绍与主要编程语言

GLM-4系列是由智谱AI推出的开源多语言多模态聊天模型。其中，GLM-4-9B作为该系列的重要组成部分，它在多种数据集上展现出优越的语义理解、数学、逻辑推理、编码及知识库应用能力，支持包括中文、英语在内的26种语言。此项目基于Python实现，利用深度学习技术特别是Transformer架构，结合多模态处理能力，提供了丰富的对话和信息处理功能。

关键技术和框架

• 深度学习框架: 主要依赖Transformer库，尤其是Hugging Face的transformers库来处理模型的加载、微调和推理。
• 模型后端: 支持原生Transformers推理引擎以及优化后的vLLM服务。
• 多模态处理: 针对GLM-4V-9B模型，涉及到图像处理，可能依赖于Pillow库等用于图像加载和转换。
• 多语言支持: 利用预训练模型的多语言特性，适用于跨语言应用场景。

安装和配置步骤

准备工作

1. 环境需求：确保你的系统已经安装了Python 3.7或更高版本。

2. 虚拟环境：推荐创建一个虚拟环境以隔离项目依赖。可以使用venv或conda。

   python3 -m venv glm_env
   source glm_env/bin/activate  # Linux/macOS
   glm_env\Scripts\activate      # Windows
   

3. 安装基础包：

   pip install --upgrade pip
   

详细安装步骤

1. 克隆项目

从GitHub获取项目副本：

git clone https://github.com/THUDM/GLM-4.git
cd GLM-4

2. 安装依赖

• 根据基本示例安装所需包：

  pip install -r basic_demo/requirements.txt
  

• 若项目有更新的依赖要求，记得检查项目的最新说明文件中是否有额外的依赖项。

3. 下载模型权重

• 对于GLM-4-9B系列模型，你需要从Hugging Face Model Hub下载对应的模型权重文件。这通常通过Hugging Face CLI或直接在模型页面下载完成。

4. 配置环境变量（可选）

如果你使用GPU，设置CUDA设备：

export CUDA_VISIBLE_DEVICES=0

5. 快速启动示例

使用Transformers后端示例

编辑Python脚本以加载模型并进行简单的询问：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "THUDM/glm-4-9b-chat"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, trust_remote_code=True, device_map="auto"
)

query = "你好，世界！"
inputs = tokenizer.apply_chat_template([[{"role": "user", "content": query}]], add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(**inputs, max_length=250)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

注意事项

• 对于GLM-4V-9B模型，若涉及多模态处理，需确保图片处理相关库已安装，并遵循特定的输入格式。
• 配置模型时，确保GPU内存足够，否则可能需要调整模型加载策略或使用CPU模式。
• 对于使用vLLM后端的场景，请按照项目文档中vLLM的相关指令配置环境和参数，因为这可能需要特殊的配置和环境准备。

完成上述步骤后，你应该能够成功地在本地环境中运行GLM-4系列模型进行对话交互。确保随时查阅项目官方GitHub页面，以便获取最新的安装指导和更新信息。