MiniGPT4.cpp 项目下载及安装教程

1. 项目介绍

MiniGPT4.cpp 是一个基于 C++ 的 MiniGPT4 实现项目，支持在 CPU 上进行 4-bit、5-bit、6-bit、8-bit 和 16-bit 的量化推理。该项目的主要目标是提供一个轻量级的、高效的 GPT4 推理引擎，适用于资源受限的环境。

2. 项目下载位置

要下载 MiniGPT4.cpp 项目，请使用以下命令：

git clone --recursive https://github.com/Maknee/minigpt4.cpp.git

3. 项目安装环境配置

3.1 环境要求

• 操作系统: Windows / Linux / MacOS
• 编译工具: CMake
• 依赖库: GGML

3.2 环境配置示例

3.2.1 Windows 环境配置

1. 安装 CMake 和 Visual Studio。
2. 打开命令行工具，导航到项目目录。

3.2.2 Linux 环境配置

1. 安装 CMake：

   sudo apt install cmake
   

2. 打开终端，导航到项目目录。

3.2.3 MacOS 环境配置

1. 安装 CMake：

   brew install cmake
   

2. 打开终端，导航到项目目录。

4. 项目安装方式

4.1 下载预编译二进制文件

1. 访问项目的 Releases 页面。
2. 下载适用于您操作系统的预编译二进制文件，并将其解压到项目目录中。

4.2 手动编译项目

1. 导航到项目目录：

   cd minigpt4.cpp
   

2. 使用 CMake 进行编译：

   cmake .
   cmake --build . --config Release
   

5. 项目处理脚本

5.1 获取模型

5.1.1 下载预量化模型

1. 访问 Hugging Face 并下载预量化的 MiniGPT4 模型（如 minigpt4-13B-f16.bin）。
2. 将模型文件放置在项目目录中。

5.1.2 转换和量化 PyTorch 模型

1. 克隆 MiniGPT-4 仓库并设置环境：

   git clone https://github.com/Vision-CAIR/MiniGPT-4.git
   cd MiniGPT-4
   conda env create -f environment.yml
   conda activate minigpt4
   

2. 下载预训练的检查点并转换为 GGML 格式：

   python convert.py /path/to/pretrained_minigpt4_7b.pth --outtype f16
   

5.2 运行测试

1. 导航到项目目录：

   cd minigpt4.cpp
   

2. 运行测试脚本：

   python minigpt4_library.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin
   

5.3 启动 WebUI

1. 安装 WebUI 依赖：

   pip install -r requirements.txt
   

2. 启动 WebUI：

   python webui.py minigpt4-13B-f16.bin ggml-vicuna-13B-v0-q5_k.bin
   

通过以上步骤，您可以成功下载、安装并运行 MiniGPT4.cpp 项目。