GLM-4 开源项目使用教程【多模态】

1. 项目的目录结构及介绍

GLM-4 项目的目录结构如下：

GLM-4/
├── basic_demo/
├── composite_demo/
├── finetune_demo/
├── intel_device_demo/
├── resources/
├── .gitignore
├── LICENSE
├── README.md
├── README_en.md

目录结构介绍

• basic_demo: 包含使用 transformers 和 vLLM 后端的交互代码，以及 OpenAI API 后端交互代码和 Batch 推理代码。
• composite_demo: 包含 GLM-4-9B-Chat 以及 GLM-4V-9B 开源模型的完整功能演示代码，展示了 All Tools 能力、长文档解读和多模态能力。
• finetune_demo: 包含 PEFT (LORA P-Tuning) 微调代码和 SFT 微调代码。
• intel_device_demo: 包含与英特尔技术团队合作改进的 ITREX 和 OpenVINO 部署教程。
• resources: 包含项目相关的资源文件。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件，遵循 Apache 2.0 协议。
• README.md: 项目的中文介绍文档。
• README_en.md: 项目的英文介绍文档。

2. 项目的启动文件介绍

basic_demo 启动文件

在 basic_demo 目录下，主要的启动文件包括：

• basic_demo.py: 使用 transformers 和 vLLM 后端的交互代码。
• openai_api_demo.py: 使用 OpenAI API 后端交互代码。
• batch_inference_demo.py: Batch 推理代码。

composite_demo 启动文件

在 composite_demo 目录下，主要的启动文件包括：

• composite_demo.py: 完整功能演示代码，展示了 All Tools 能力、长文档解读和多模态能力。

finetune_demo 启动文件

在 finetune_demo 目录下，主要的启动文件包括：

• peft_finetune_demo.py: PEFT (LORA P-Tuning) 微调代码。
• sft_finetune_demo.py: SFT 微调代码。

intel_device_demo 启动文件

在 intel_device_demo 目录下，主要的启动文件包括：

• intel_device_demo.py: 与英特尔技术团队合作改进的 ITREX 和 OpenVINO 部署教程。

3. 项目的配置文件介绍

配置文件位置

配置文件通常位于项目的根目录或各个 demo 目录下，具体包括：

• config.yaml: 项目的主要配置文件，包含模型参数、训练参数等。
• requirements.txt: 项目依赖的 Python 包列表。

配置文件内容

config.yaml

model:
  name: "THUDM/glm-4v-9b"
  trust_remote_code: True
training:
  max_length: 2500
  do_sample: True
  top_k: 1

requirements.txt

transformers
vLLM
torch

以上是 GLM-4 开源项目的基本使用教程，涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。