Metric3D深度估计模型在NYU和KITTI数据集上的性能差异分析

在深度估计领域，Metric3D项目提出了创新的跨尺度转换模块(CSTM)，在NYU Depth V2和KITTI等标准数据集上取得了显著成果。本文重点分析该项目在不同评估指标下表现出的性能差异，帮助研究人员更好地理解模型评估方法对结果的影响。

评估指标差异的核心原因

Metric3D在论文表格1和表格4中报告的NYU数据集δ1指标存在明显差异：

• 表格1中CSTM_image和CSTM_label的δ1分别为0.925和0.944
• 表格4中相同模型的δ1提升至0.963和0.966

这种差异并非来自模型架构或训练过程的改变，而是源于两种不同的深度评估方法：

1. 绝对深度评估（表格1）：

   • 直接比较预测深度值与真实深度值
   • 反映模型对场景绝对尺度(metric scale)的预测能力
   • 更接近实际应用场景需求

2. 相对/仿射不变深度评估（表格4）：

   • 通过线性变换对齐预测值和真实值的中位数
   • 仅评估深度关系的相对准确性
   • 消除尺度不确定性带来的影响

技术背景解析

在单目深度估计领域，模型预测的深度通常存在尺度模糊性。为解决这一问题，研究人员常采用两种评估策略：

1. 仿射对齐方法：

   • 计算预测深度和真实深度之间的最优尺度和平移参数
   • 对预测结果进行线性变换后再评估
   • 重点关注深度排序和相对关系的准确性

2. 绝对尺度评估：

   • 保持预测结果的原始尺度
   • 评估模型对真实物理距离的预测能力
   • 对机器人导航、增强现实等应用更为重要

Metric3D项目通过CSTM模块同时提升了两种评估方式下的性能，表明其不仅能学习场景的几何结构，还能准确预测绝对深度尺度。

对研究实践的启示

这一差异提醒我们在比较不同深度估计方法时需要注意：

1. 明确评估协议是否包含尺度对齐
2. 根据应用场景选择合适的评估指标
3. 在学术论文中应明确说明采用的评估方法

Metric3D项目在两种评估方式下都展现了优越性能，证明了其在深度估计任务中的全面能力。未来工作可以进一步探索如何在不损失绝对尺度预测能力的前提下，提升相对深度关系的准确性。