开源项目Gazelle安装与配置指南

1. 项目基础介绍

Gazelle是一个开源项目，旨在通过大规模学习编码器来估计视线目标。该项目使用了一种基于transformer的方法，名为Gaze-LLE，它利用了预训练视觉基础模型的强大功能。Gazelle提供了一种简化的视线架构，仅在冻结的预训练视觉编码器（DINOv2）之上学习轻量级的视线解码器。与之前的工作相比，Gazelle学习的参数数量减少了1-2个数量级，且不需要额外的输入模态，如深度和姿态信息。

项目主要使用的编程语言是Python。

2. 项目使用的关键技术和框架

• 预训练模型：项目基于DINOv2（Dual Instances Network with Vision Transformer）预训练模型，这是一种强大的视觉编码器。
• Transformer架构：Gazelle利用了transformer的架构来处理视觉数据，提高了视线估计的准确性。
• PyTorch：项目使用PyTorch深度学习框架，便于模型的训练和推理。
• xFormers：为了提高注意力机制的计算效率，项目可选地使用了xFormers库。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖项：

• Python 3.6及以上版本
• PyTorch
• Conda（推荐使用，但不是必须的）

详细安装步骤

1. 克隆项目仓库

   打开命令行（终端），使用以下命令克隆项目仓库：

   git clone https://github.com/fkryan/gazelle.git
   cd gazelle
   

2. 创建虚拟环境

   使用conda创建一个虚拟环境，并激活它：

   conda env create -f environment.yml
   conda activate gazelle
   

3. 安装项目依赖

   在虚拟环境中，使用pip安装项目依赖：

   pip install -e .
   

   如果您的系统支持，可以安装xFormers来加速注意力计算：

   pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118
   

4. 安装完成后，您可以开始使用Gazelle进行视线估计

   以上步骤完成之后，您就可以使用Gazelle项目进行开发了。具体的使用方法可以参考项目的README文件或者官方文档。

确保在安装过程中遵循每一步的指示，如果您遇到任何问题，可以查看项目的文档或者向社区寻求帮助。祝您使用愉快！