openMVS中NCC代价函数梯度计算的系数问题分析

背景介绍

在计算机视觉和三维重建领域，归一化互相关(Normalized Cross Correlation, NCC)是一种常用的图像相似性度量方法。在开源项目openMVS中，NCC被广泛应用于表面演化(surface evolution)过程中的代价函数计算。近期有开发者在研究openMVS的源码实现时，发现NCC代价函数梯度计算中可能存在一个系数缺失的问题。

NCC代价函数基本原理

NCC是一种衡量两幅图像相似度的方法，其数学表达式为：

ZNCC = (1/n) * Σ[(A_i - μ_A)(B_i - μ_B)] / (σ_A * σ_B)

其中：

• A_i和B_i分别表示图像A和B在像素i处的强度值
• μ_A和μ_B是两幅图像的均值
• σ_A和σ_B是两幅图像的标准差
• n是参与计算的像素总数

在openMVS的表面演化过程中，NCC被用作优化目标函数，通过梯度下降法不断调整三维模型参数，使得从不同视角渲染的图像具有最大的NCC相似度。

梯度计算问题分析

在openMVS的SceneRefine.cpp文件中，NCC代价函数的梯度计算实现如下：

const Real dZNCC((Real)imageA(r,c)*invSqrtVAVB - (Real)imageB(r,c)*ZNCCinvVB + imageMeanB(r,c)*ZNCCinvVB - imageMeanA(r,c)*invSqrtVAVB);

经过仔细推导发现，该表达式缺少了一个1/n的系数。这个系数在数学推导中应当存在，因为它来自于NCC定义中的平均值计算部分。

问题影响评估

虽然这个缺失的系数不会影响优化过程的收敛性（因为它可以被吸收到学习率中），但从数学严谨性的角度来看，完整的梯度表达式应当包含这个系数。在openMVS的后续代码中，确实在另一个位置（第888行）正确地包含了这个系数。

技术讨论延伸

这个发现引发了关于表面演化和三维重建方法的更广泛讨论。特别是关于如何将基于网格的表面演化与高斯泼溅(Gaussian Splatting)技术相结合的探索：

1. 表面表示方法：传统的网格表示与新兴的高斯表示各有优势，如何结合两者的优点是一个研究方向。

2. 拓扑处理：在优化过程中，网格拓扑结构的变化需要特殊处理，而高斯表示在这方面更具灵活性。

3. 渲染与几何一致性：高质量的渲染结果不一定对应精确的几何结构，如何设计既能保证渲染质量又能优化几何精度的表示方法是关键。

结论与建议

openMVS中NCC梯度计算的系数问题虽然不影响实际优化效果，但从数学完整性的角度建议进行修正。这一发现也启发我们思考三维重建领域中不同表示方法的融合可能性。未来的工作可以探索：

1. 将网格的显式表示与高斯泼溅的隐式表示相结合
2. 开发支持拓扑变化的网格优化算法
3. 研究基于测地距离的高斯分布定义方法

这些方向有望推动三维重建技术向更高精度、更高效能的方向发展。