开源项目安装与配置指南：Perception Models

1. 项目基础介绍

Perception Models 是一个用户友好的开源仓库，旨在支持 Perception Language Model (PLM) 和 Perception Encoder (PE) 的训练、推理和评估。该项目的目标是模块化设计，易于扩展和实验。

主要编程语言：Python

2. 项目使用的关键技术和框架

• Perception Encoder (PE)：这是一系列用于视觉中心和视觉语言任务的视觉编码器的家族。
• Perception Language Model (PLM)：这是一系列开放且完全可复制的模型，用于促进视觉语言模型（VLM）的研究。

项目可能使用以下框架和技术：

• PyTorch：用于深度学习的开源机器学习库。
• Torchaudio：PyTorch的音频处理库。
• Xformers：用于加速Transformer操作的库。
• torchcodec：用于将视频解码为PyTorch张量。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保您的系统上安装了Git。
• 安装conda，以便管理Python环境和依赖项。

安装步骤

1. 克隆仓库

   首先，您需要从GitHub克隆项目仓库：

   git clone https://github.com/facebookresearch/perception_models.git
   

2. 创建并激活conda环境

   接下来，创建一个名为 perception_models 的conda环境，并激活它：

   conda create --name perception_models python=3.12
   conda activate perception_models
   

3. 安装PyTorch和相关依赖

   按照以下命令安装PyTorch和相关依赖：

   pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers --index-url https://download.pytorch.org/whl/cu124
   

4. 安装ffmpeg和torchcodec

   安装ffmpeg和torchcodec库，以便处理视频：

   conda install ffmpeg -c conda-forge
   pip install torchcodec==0.1 --index-url=https://download.pytorch.org/whl/cu124
   

5. 安装项目

   最后，安装项目：

   pip install -e .
   

   这将安装一个可编辑的版本，允许您在不重新安装包的情况下对代码进行更改。

以上步骤为您提供了从零开始安装和配置 Perception Models 项目的指南。按照这些步骤操作后，您应该能够开始使用该项目进行研究和实验。