CogVLM2 项目使用文档

1. 项目目录结构及介绍

CogVLM2 项目的目录结构如下：

CogVLM2/
├── basic_demo/
│   ├── cli_demo.py
│   ├── multi_gpu_demo.py
│   ├── web_demo.py
│   └── api_server.py
├── finetune_demo/
│   ├── peft_finetune.py
│   └── ...
├── video_demo/
│   ├── cli_demo.py
│   ├── restful_api_server.py
│   └── gradio_demo.py
├── resources/
│   └── ...
├── .gitignore
├── LICENSE
├── MODEL_LICENSE
├── README.md
├── README_zh.md
└── ...

目录结构介绍

• basic_demo/: 包含基本的 CLI 演示、多 GPU 推理演示、Web 演示和 OpenAI 格式的 API 服务器。
• finetune_demo/: 包含使用 peft 框架进行高效微调的示例。
• video_demo/: 包含视频推理的 CLI 演示、Restful API 服务器和 Gradio 演示。
• resources/: 包含项目所需的资源文件。
• .gitignore: Git 忽略文件。
• LICENSE: 项目许可证。
• MODEL_LICENSE: 模型许可证。
• README.md: 项目英文介绍文档。
• README_zh.md: 项目中文介绍文档。

2. 项目启动文件介绍

basic_demo/cli_demo.py

该文件用于在命令行界面中启动 CogVLM2 模型的推理演示。用户可以通过命令行输入图像路径和查询，模型将返回相应的回答。

basic_demo/multi_gpu_demo.py

该文件用于在多 GPU 环境下启动 CogVLM2 模型的推理演示。适用于需要更高计算资源的场景。

basic_demo/web_demo.py

该文件用于启动基于 chainlit 的 Web 演示界面。用户可以通过 Web 界面与 CogVLM2 模型进行交互。

basic_demo/api_server.py

该文件用于启动 OpenAI 格式的 API 服务器。用户可以通过 API 调用 CogVLM2 模型进行推理。

video_demo/cli_demo.py

该文件用于在命令行界面中启动 CogVLM2-Video 模型的推理演示。用户可以通过命令行输入视频路径和查询，模型将返回相应的回答。

video_demo/restful_api_server.py

该文件用于启动 CogVLM2-Video 模型的 Restful API 服务器。用户可以通过 API 调用 CogVLM2-Video 模型进行推理。

video_demo/gradio_demo.py

该文件用于启动基于 Gradio 的 Web 演示界面。用户可以通过 Web 界面与 CogVLM2-Video 模型进行交互。

3. 项目配置文件介绍

.gitignore

该文件用于指定 Git 版本控制系统中需要忽略的文件和目录。

LICENSE

该文件包含 CogVLM2 项目的许可证信息。

MODEL_LICENSE

该文件包含 CogVLM2 模型的许可证信息。

README.md

该文件是项目的英文介绍文档，包含项目的背景、功能、使用方法等信息。

README_zh.md

该文件是项目的中文介绍文档，包含项目的背景、功能、使用方法等信息。

通过以上文档，您可以快速了解 CogVLM2 项目的目录结构、启动文件和配置文件，并开始使用该项目进行多模态模型的推理和微调。