SCRStudio 开源项目最佳实践教程

1. 项目介绍

SCRStudio 是一个基于 Scene Coordinate Regression (SCR) 的视觉定位统一框架，构建在 nerfstudio 项目之上。该框架提供了一种可解释且模块化的 SCR 实现，涵盖了输入编码、网络架构和监督策略等组件。SCRStudio 支持多种预训练的局部编码（稀疏和密集），并集成了最先进的技术来整合全局编码。

2. 项目快速启动

以下是 SCRStudio 的快速启动指南，帮助您开始使用默认的 R-SCoRe SCR 模型，该模型在经典的 Aachen 数据集上进行训练。

环境搭建

首先，建议使用 conda 来管理依赖项。确保在继续之前安装了 Conda。

conda create -n scrstudio python=3.10
conda activate scrstudio
pip install --upgrade pip

安装依赖

安装 PyTorch 和 CUDA（已测试 CUDA 12.1 和 12.4），以及 PyTorch Geometric 和 cuML 用于编码预处理。

conda install pytorch=2.5.1 torchvision=0.20.1 pytorch-cuda=12.4 cuml=25.02 -c pytorch  -c rapidsai -c conda-forge -c nvidia
pip install torch_geometric
pip install pyg_lib torch_scatter torch_sparse torch_cluster torch_spline_conv -f https://data.pyg.org/whl/torch-2.5.1+cu124.html

克隆项目

git clone --recursive https://github.com/cvg/scrstudio.git
cd scrstudio
pip install --upgrade pip setuptools
pip install -e .

训练第一个模型

下载数据

# 下载 Aachen 数据集
scr-download-data aachen

# 下载 NAVER Lab 数据集特定捕获
scr-download-data naver --capture-name dept_1F

预处理数据

scrfacto 模型遵循 R-SCoRe 的方法论，使用 PCA 对局部编码进行降维，并使用 Node2Vec 学习全局编码。

• 局部编码：PCA 压缩

# 计算 Aachen 数据集 Dedode 局部编码的 PCA
scr-encoding-pca dedode --encoder.detector L --encoder.descriptor B --n_components 128 --data data/aachen

• 全局编码：共视图和 Node2Vec 训练

# 计算训练图像的位姿重合度分数
scr-overlap-score --data data/aachen/train --max_depth 50

# 在该图上训练 Node2Vec 模型
scr-train node2vec --data data/aachen --pipeline.model.graph pose_overlap.npz --pipeline.model.edge_threshold 0.2

使用训练好的全局编码：

cp outputs/aachen/node2vec/<timestamp>/scrstudio_models/head.pt data/aachen/train/pose_n2c.pt

模型训练

# 训练 scrfacto 模型
scr-train scrfacto --data data/aachen --pipeline.datamanager.train_dataset.feat_name pose_n2c.pt

训练结果将保存在 outputs/aachen/scrfacto/<timestamp>。

3. 应用案例和最佳实践

在此部分，您将了解如何使用 SCRStudio 进行实际应用，并掌握一些最佳实践。例如，如何对模型进行评估、调整超参数以及如何处理不同规模的数据集。

评估模型

预处理评估数据

# 计算训练数据的 NetVLAD 检索特征并进行产品量化 (PQ) 压缩
scr-retrieval-feat --data data/aachen/train --pq

运行评估

# 计算测试图像的检索特征
scr-retrieval-feat --data data/aachen/test

# 加载配置并运行评估
scr-eval --load-config outputs/aachen/scrfacto/<timestamp>/config.yml --split test

调整超参数

在实际应用中，您可能需要根据具体问题调整模型的超参数。建议从学习率、批次大小和正则化项开始，逐步调整以找到最优配置。

4. 典型生态项目

SCRStudio 是一个活跃的开源项目，它与其他视觉定位和 3D 重构项目形成了良好的生态。以下是一些与之相关的典型项目：

• DSAC：一种用于相机定位的可微分 RANSAC 方法。
• ACE：加速坐标编码，用于快速学习 RGB 和位姿数据。
• GLACE：全局局部加速坐标编码。
• R-SCoRe：重新审视场景坐标回归，用于稳健的大规模视觉定位。

通过这些项目，研究人员和开发者可以进一步探索视觉定位领域的各种方法和技术。