【亲测免费】 FoundationStereo: 开源项目使用教程

1. 项目介绍

FoundationStereo 是由 NVlabs 开发的一款用于立体深度估计的开源项目。该项目设计的目的是实现强大的零样本泛化能力，即在不针对特定领域进行微调的情况下，模型能够跨领域地工作。FoundationStereo 通过构建一个大规模的合成训练数据集，并设计了一系列网络架构组件，以增强模型的扩展性和鲁棒性。该模型在 Middlebury 和 ETH3D 排行榜上取得了第一名。

2. 项目快速启动

首先，您需要创建一个虚拟环境并激活它：

conda env create -f environment.yml
conda activate foundation_stereo

接着，下载预训练模型并放置在指定的目录下：

# 将下载的模型文件夹（例如：23-51-11）放置在 ./pretrained_models/ 目录下

运行以下命令来执行演示：

python scripts/run_demo.py --left_file ./assets/left.png --right_file ./assets/right.png --ckpt_dir ./pretrained_models/model_best_bp2.pth --out_dir ./test_outputs/

请确保输入的左右图像是经过纠正和去畸变的，且左右图像之间的极线是水平的。

3. 应用案例和最佳实践

输入图像要求

• 输入的左右图像应当是经过纠正和去畸变的，极线应当水平。
• 推荐使用无损失压缩的 PNG 格式文件。
• 该方法在 RGB 立体图像上效果最佳，但也支持单色或红外立体图像。

参数调整

• 对于高分辨率图像（分辨率大于1000px），可以通过 --hiera 1 选项开启分层推理以提高性能。
• 如果需要更快的推理速度，可以降低输入图像的分辨率，例如使用 --scale 0.5，并减少 refine 迭代次数，如 --valid_iters 16。

ONNX/TensorRT 推理（实验性）

• 要创建 ONNX 模型，请进行相应的代码更改并运行提供的脚本。
• 转换 ONNX 到 TensorRT 可以获得更快的推理速度。

4. 典型生态项目

FoundationStereo 作为立体深度估计的基座模型，可以与其他开源项目结合，例如：

• 与 DINOv2、DepthAnything V2 等模型结合，以进一步提高性能。
• 集成到机器人导航、自动驾驶车辆或增强现实系统中，提供实时的深度信息。

请根据实际需求选择合适的项目进行集成和扩展。