GANet 项目使用教程

1. 项目介绍

GANet（Guided Aggregation Net）是一个用于端到端立体匹配的深度学习网络。该项目将传统的立体匹配几何和优化问题转化为深度神经网络，旨在提高立体匹配的准确性和效率。GANet 通过引导聚合网络（GA-Net）来实现这一目标，该网络在多个基准数据集上表现出色，特别是在 SceneFlow、KITTI 2012 和 KITTI 2015 数据集上。

2. 项目快速启动

2.1 环境准备

确保你的系统满足以下要求：

• gcc: >=5.3
• GPU 内存: >=6.5G（测试），>=11G（训练，推荐 >=22G）
• PyTorch: >=1.0
• CUDA: >=9.2（9.0 可能会有“pybind11 errors”）

2.2 安装 PyTorch

你可以通过 pip 轻松安装 PyTorch：

pip install torch torchvision

如果遇到编译 CUDA 库时的库冲突问题，建议从源码安装 PyTorch。

2.3 编译库

克隆项目并进入项目目录：

git clone https://github.com/feihuzhang/GANet.git
cd GANet

编译库文件：

sh compile.sh

如果遇到 BN 错误，可以尝试替换 sync-bn：

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext"

2.4 数据准备

下载 SceneFlow 数据集（FlyingThings3D、Driving 和 Monkaa），并将训练图像和对应的视差文件移动到指定目录：

mv all_training_images_folders $[your_dataset_PATH]/frames_finalpass/TRAIN/
mv all_corresponding_disparity_files $[your_dataset_PATH]/disparity/TRAIN/

确保以下 29 个文件夹包含在 $[your_dataset_PATH]/disparity/TRAIN/ 和 $[your_dataset_PATH]/frames_finalpass/TRAIN/ 中。

2.5 训练和预测

修改参数设置并运行训练和预测脚本：

sh train.sh
sh predict.sh

注意：crop_width 和 crop_height 必须是 48 的倍数，max_disp 必须是 12 的倍数（默认值为 192）。

3. 应用案例和最佳实践

3.1 立体匹配

GANet 在立体匹配任务中表现出色，特别是在处理复杂场景和高分辨率图像时。通过端到端的训练，GANet 能够有效地减少视差误差，提高匹配精度。

3.2 自动驾驶

在自动驾驶领域，GANet 可以用于实时立体视觉系统，帮助车辆在复杂环境中进行精确的距离感知和障碍物检测。

4. 典型生态项目

4.1 NVIDIA Apex

NVIDIA Apex 是一个用于混合精度训练和分布式训练的 PyTorch 扩展库。GANet 使用了 Apex 来优化训练过程，特别是在处理大规模数据集时。

4.2 PyTorch

PyTorch 是一个开源的深度学习框架，GANet 基于 PyTorch 构建，充分利用了其动态计算图和强大的 GPU 加速能力。

4.3 SceneFlow 数据集

SceneFlow 是一个用于立体匹配任务的大型数据集，包含了多种复杂场景和高分辨率图像。GANet 在 SceneFlow 数据集上进行了广泛的测试和验证。

通过以上步骤，你可以快速启动并使用 GANet 项目，进行立体匹配任务的训练和预测。