DepthFM 项目教程

1. 项目介绍

DepthFM 是一个先进的、多功能的、快速的单目深度估计模型。它能够高效地生成逼真的深度图，并且在单次推理步骤中完成。除了传统的深度估计任务外，DepthFM 还展示了在下游任务中的卓越能力，如深度修复和深度条件合成。该项目通过将基础图像合成扩散模型（Stable Diffusion v2-1）的强大图像先验转移到流匹配模型中，实现了这一目标。

2. 项目快速启动

环境设置

本设置在 Ubuntu 22.04.4 LTS, CUDA Version: 12.2, 和 Python 3.11.5 上测试通过。

1. 克隆 GitHub 仓库：

   git clone [e-mail]:CompVis/depth-fm.git
   cd depth-fm
   

2. 下载权重文件：

   wget https://ommer-lab.com/files/depthfm/depthfm-v1.ckpt -P checkpoints/
   

3. 安装依赖包：

   • 使用 pip：

     pip install -r requirements.txt
     

   • 使用 conda：

     conda env create -f environment.yml
     

使用示例

你可以使用 Jupyter Notebook 或直接运行 Python 脚本进行推理。

• 使用 Jupyter Notebook： 打开 inference.ipynb 并按照说明进行操作。

• 使用 Python 脚本：

  python inference.py \
    --num_steps 2 \
    --ensemble_size 4 \
    --img assets/dog.png \
    --ckpt checkpoints/depthfm-v1.ckpt
  

3. 应用案例和最佳实践

应用案例

DepthFM 可以应用于多种场景，包括但不限于：

• 自动驾驶：用于实时深度估计，增强车辆的感知能力。
• 增强现实：用于生成深度图，提升 AR 应用的真实感。
• 机器人导航：用于环境深度估计，帮助机器人进行路径规划。

最佳实践

• 优化推理步骤：尽管 DepthFM 在很少的推理步骤中表现出色，但可以通过调整 --num_steps 参数来进一步优化性能。
• 使用集成方法：通过设置 --ensemble_size 参数，可以提高模型的鲁棒性和准确性。

4. 典型生态项目

• Stable Diffusion：作为 DepthFM 的基础模型，Stable Diffusion 提供了强大的图像先验，使得 DepthFM 能够在很少的训练数据和推理步骤中表现出色。
• Marigold：一个先进的生成深度估计模型，DepthFM 在多个基准数据集上超越了 Marigold，展示了其优越的性能。

通过本教程，您应该能够快速启动并使用 DepthFM 进行单目深度估计。