【亲测免费】 CroCo: 自监督预训练用于3D视觉任务的开源之旅

项目介绍

CroCo是NeurIPS'22论文提出的一款模型，专注于通过交叉视图完成(self-supervised pre-training for 3D vision tasks by cross-view completion)，以提升3D视觉任务的性能。该模型及其后续在ICCV'23发布的改进版本（CroCo v2）展示了在立体匹配和光流估计方面的强大能力。CroCo采用CC BY-NC-SA 4.0许可证分发，它的设计灵感来源于自监督学习，无需标注数据即可训练，对3D视觉领域带来了新的突破。

项目快速启动

环境配置

首先，在具有Nvidia GPU的机器上设置环境，推荐使用Conda进行管理：

conda create -n croco python=3.7 cmake=3.14.0
conda activate croco
conda install -c conda-forge -c aihabitat habitat-sim headless pytorch torchvision
conda install notebook ipykernel matplotlib ipywidgets widgetsnbextension scikit-learn tqdm quaternion opencv

对于特定的依赖如RoPE编译CUDA内核：

cd models/croupe/
python setup.py build_ext --inplace

确保安装时考虑了适当的CUDA架构，并且可能需要手动设置CUDA_HOME环境变量。

下载预训练模型与快速运行示例

选择一个预训练模型下载，例如基础模型：

mkdir -p pretrained_models/
wget https://download.europe.naverlabs.com/ComputerVision/CroCo/CroCo.pth -P pretrained_models/

然后，运行重建示例：

python demo.py

或对于交互式演示：

1. 下载测试场景至Habitat模拟器：

   python -m habitat_sim.utils.datasets_download --uids habitat_test_scenes --data-path habitat-sim-data/
   

2. 运行Jupyter Notebook interactive_demo.ipynb。

应用案例与最佳实践

CroCo可以应用于无监督的3D场景理解中，特别是在缺乏大量标注数据的情况下。最佳实践包括：

• 使用预训练的CroCo模型作为特征提取器，加速下游应用的训练。
• 在具体场景下调整模型参数，例如针对室内或室外环境优化。
• 结合其他自我监督或者半监督方法，进一步提升立体匹配和光流计算的精度。

典型生态项目

虽然CroCo本身构建了一个强大的框架，但其在生态中的应用尚未形成明确的“典型生态项目”列表。不过，相关研究者和开发者可借鉴其技术路线，将自监督学习的方法融入到其他3D视觉相关的开源工具和库中，比如结合Open3D或MiDaS等进行深度学习在3D建模和感知上的拓展。

---

本指南旨在帮助您快速理解和初步应用CroCo项目。深入探索更多高级功能和定制化开发，则需详细阅读官方GitHub仓库的文档和源码注释。