SEEChat 的安装和配置教程

1. 项目的基础介绍和主要的编程语言

SEEChat 是一个具有计算机视觉能力的多模态聊天机器人，它将视觉理解与文本对话相结合，旨在通过对话方式解决视觉任务，如图像理解、目标检测等。该项目使用的编程语言主要是 Python。

2. 项目使用的关键技术和框架

该项目使用的关键技术包括单模态专家缝合路线（Single-modal Experts Efficient integration, SEEChat），通过可学习的桥接层将视觉模态的专家模型与文本模态的专家模型进行缝合。在视觉模态上，它使用了 CLIP-ViT；在文本模态上，基于 ChatGLM 语言模型。此外，项目的训练过程涉及到图文对齐和人机对齐两个阶段。

3. 项目安装和配置的准备工作和详细的安装步骤

准备工作

在开始安装之前，确保你的系统满足以下要求：

• 操作系统：Linux 或 macOS
• GPU：NVIDIA 3090 或 A100
• Python 版本：3.6 或以上
• 安装了 CUDA 和 cuDNN（仅当使用 GPU 时）

安装步骤

1. 克隆项目仓库

   打开终端（或命令提示符），使用以下命令克隆 SEEChat 项目的仓库：

   git clone https://github.com/360CVGroup/SEEChat.git
   cd SEEChat
   

2. 创建虚拟环境并安装依赖

   使用 conda 创建一个虚拟环境，并安装所需的依赖项：

   conda env create -f environment.yml
   conda activate seechat_env
   

3. 下载模型权重和数据

   从指定的地址下载 chatGLM 的所有 bin 文件和 ice_text.model，将它们放在 models/chatglm-6b 目录中。接着，从百度云盘下载权重文件 checkpoint_100.pth 并放入同一目录中。

   注意：下载链接和提取码在项目仓库的 README 文件中有提供，但此处不提供具体链接。

4. 运行推理脚本

   进入 code 目录，运行以下命令启动推理脚本：

   cd code
   sh demo_stage2.sh
   

   运行后，将开始一轮对话。在命令行显示 “question” 时，用户可以输入问题，由 SEEChat 进行回答。当输入 “break” 时，本轮对话结束。

以上是 SEEChat 的详细安装和配置指南，按照这些步骤，即使是编程小白也可以顺利地安装和运行这个项目。