GIM 项目使用与启动教程

1. 项目介绍

GIM（Generalizable Image Matcher）是一个开源项目，旨在从互联网视频学习通用的图像匹配技术。该技术通过分析互联网上的视频资源，训练出能够广泛应用于不同场景下的图像匹配模型。GIM项目的核心是开发出能够适应多样化环境、无需额外训练即可匹配的图像匹配算法。

2. 项目快速启动

环境准备

首先，您需要在您的机器上设置Python环境。以下是创建新环境的命令：

conda create -n gim python=3.9

接着，安装所需的依赖库：

conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch -c conda-forge
conda install xformers -c xformers
pip install albumentations==1.0.1 --no-binary=imgaug,albumentations
pip install colour-demosaicing==0.2.2
pip install pytorch-lightning==1.5.10
pip install opencv-python==4.5.3.56
pip install imagesize==1.2.0
pip install kornia==0.6.10
pip install einops==0.3.0
pip install loguru==0.5.3
pip install joblib==1.0.1
pip install yacs==0.1.8
pip install h5py==3.1.0
pip install matplotlib
pip install omegaconf
pip install triton

克隆项目

使用以下命令克隆项目到本地：

git clone https://github.com/xuelunshen/gim.git
cd gim

下载模型权重

您需要从提供的Google Drive或OneDrive链接下载模型权重文件，并将其放置在项目中的weights文件夹下。

运行示例

项目中的demo.py脚本提供了一个使用GIM模型进行图像匹配的示例。以下是如何运行它的命令：

python demo.py --model gim_roma

或者选择其他模型：

python demo.py --model gim_dkm
# 或者
python demo.py --model gim_loftr
# 或者
python demo.py --model gim_lightglue

运行上述命令后，模型将会匹配assets/demo文件夹中的a1.png和a2.png，并输出a1_a2_match.png和a1_a2_warp.png。

3. 应用案例和最佳实践

GIM项目的应用案例广泛，包括但不限于：

• 视频帧之间的像素级对应关系建立
• 3D重建中的图像匹配
• 无需额外训练的通用图像匹配任务

最佳实践建议：

• 使用高质量的视频数据进行训练，避免编辑、转场和特效等影响匹配质量的因素。
• 在模型训练前，使用video_preprocessor.py对视频进行预处理，以获取可靠的像素级对应关系。

4. 典型生态项目

GIM项目可以作为以下典型生态项目的一部分：

• 视频分析工具箱
• 机器人视觉系统
• 自动驾驶中的图像匹配模块

以上是GIM项目的使用与启动教程，希望对您的开发工作有所帮助。