成本体聚合 Cost Volume Aggregation 深度解析:读懂 Awesome-Deep-Stereo-Matching 中 GC-Net、PSMNet、RAFT-Stereo 的演进脉络

原创2026-11-14 23:25:531,918 阅读

成本体聚合 Cost Volume Aggregation 深度解析:读懂 Awesome-Deep-Stereo-Matching 中 GC-Net、PSMNet、RAFT-Stereo 的演进脉络

本文基于 Awesome-Deep-Stereo-Matching(一个由博洛尼亚大学团队精选维护的深度立体匹配论文资源库),面向新手系统讲解立体匹配中最核心的概念——成本体聚合(Cost Volume Aggregation),并沿时间线梳理 GC-Net、PSMNet、RAFT-Stereo 三个里程碑模型的演进脉络,帮助你快速看懂"成本体聚合 立体匹配 视差估计"这条技术主线。

一、成本体是什么?两个概念先搞懂

1. 视差:立体匹配的最终目标

人的两只眼睛从略有不同的角度观察同一物体,大脑通过对比左右两张图像算出深度——这就是双目立体视觉。机器也一样:给左图每个像素在右图中找到"对应点",两者的水平偏移量就是视差(Disparity),再通过基线长度换算成深度。视差越小,物体越远。

2. 成本体:把"搜索对应点"变成查表

对左图像素 (x, y),它可能对应右图中 (x - d, y) 位置附近,d 在 0 到最大视差 D 之间逐一尝试,每个候选 d 都算一个"匹配得分"(cost,越小越匹配)。把这些得分按 d 排成一列,再对所有像素汇总,就得到形状为 H × W × D 的三维张量——成本体(Cost Volume)。

一个直观理解:成本体是立体匹配的"候选答案清单",成本体聚合就是从这份清单里选出正确答案、并修正其中的噪声,最终输出每个像素的视差值。

在 Awesome-Deep-Stereo-Matching 中,所有基于这条范式的网络都被归档在 README.md 的 Frameworks → CNN-based Cost Volume Aggregation 章节(分 2D、3D 两个分支),是学习成本体聚合的最佳入口。

二、GC-Net:3D 卷积开山之作,奠定聚合范式 🚩

GC-Net(Kendall et al., ICCV 2017,"End-to-end learning of geometry and context for deep stereo regression")是第一个把成本体显式建模为 3D 张量、并用 3D 卷积聚合的代表工作,在仓库中被 🚩 标记为"最具开创性的工作"。

它的流水线非常清晰:

  1. 特征提取:左右图各自过共享权重的 CNN,得到特征图;
  2. 成本体构建:对每个候选视差 d,把右图特征按 d 平移后与左图特征做差,得到 H×W×D 成本体;
  3. 3D 卷积聚合:在 4D 数据(批次×H×W×D)上堆叠 3D 卷积,同时利用空间邻域和邻近视差的上下文信息"投票",抑制错误匹配;
  4. 视差回归:聚合后的特征回归出最终视差图。

GC-Net 的贡献在于证明了"成本体聚合"可以被端到端训练,从此后的 PSMNet、HSMNet、CFNet 等模型几乎都在回答同一个问题:如何更省、更快地聚合这个 3D 成本体? 其文献条目可查 bibliography/GC-Net.txt。

痛点:3D 卷积对 D(常取 16~60 层)逐层处理,显存和算力开销巨大,难以跑高分辨率大图。

三、PSMNet:金字塔成本体,解决显存瓶颈 📉

PSMNet(Chang & Chen, CVPR 2018,"Pyramid Stereo Matching Network")是首个大规模落地的成本体聚合方案,核心思想是"金字塔":

  1. 把 4D 成本体先做 2×2×2 下采样成 2 个金字塔层:
    • 空间 1/2 分辨率、视差 1/2 层(粗层);
    • 空间 1/4 分辨率、视差 1/4 层(更粗层);
  2. 在粗层上用 3D 卷积聚合——分辨率越低,3D 卷积代价越小,这是省显存的关键;
  3. 聚合结果上采样插值回原分辨率,再经轻量卷积回归视差。

PSMNet 的意义在于让"3D 卷积聚合成本体"第一次变得工程可用,之后大量高效网络(如 AANet、ACVNet、PCVNet)都沿"压缩成本体 + 低成本聚合"路线继续演进。仓库中这些工作分别归档在 Compact Cost Volume Representation(紧凑成本体表示)与 Efficient Cost Volume Processing(高效成本体处理)两个小节。文献条目见 bibliography/PSMNet.txt。

局限:下采样-上采样会损失细节,视差边缘容易模糊,这也是后来迭代式方法要解决的问题。

四、RAFT-Stereo:从"一次性聚合"到"迭代式场变换" 🔁

RAFT-Stereo(Lipson, Teed & Deng, 3DV 2021,"Multilevel Recurrent Field Transforms for Stereo Matching")把光学流领域的 RAFT 范式移植到立体匹配,同样被仓库 🚩 标记为开创性工作。它的思路与前两者有本质区别:

对比维度 GC-Net / PSMNet(聚合式) RAFT-Stereo(迭代式)
成本体用途 一次性构建后由 3D 卷积聚合 作为每次迭代的"更新量"
更新机制 前向 3D 卷积 循环更新 4D 代价体 + 特征
精度来源 卷积感受野 + 上采样插值 多轮循环逐步修正
典型优势 结构直观、易实现 精度更高,对遮挡鲁棒

RAFT-Stereo 每轮迭代做三件事:用当前视差估计 warp 右图特征 → 与左图特征算相似度更新代价体 → 结合更新后的特征回归出修正后的视差。由于"循环"可复用参数,训练时还能随机化迭代次数增强泛化能力。

此后 CREStereo、IGEV-Stereo、Stereo Anything 等模型都延续迭代式思路,它们都收录在仓库的 Iterative Optimized-based Architectures 小节。RAFT-Stereo 的条目见 bibliography/RAFT-Stereo.txt。

五、一条时间线看懂演进脉络 🧭

GC-Net (2017)          PSMNet (2018)           RAFT-Stereo (2021)
  3D卷积聚合成本体  →   金字塔下采样省显存  →   迭代式4D场变换提精度
  奠基范式            工程可落地               精度天花板抬升
  • 横向看:GC-Net 和 PSMNet 是"成本体聚合"路线上的两步走——先证明可行,再解决开销;
  • 纵向看:RAFT-Stereo 代表范式转移——成本体从"聚合对象"变成"迭代更新量",精度与效率由迭代轮数灵活权衡;
  • 现在看:仓库中还收录了 IGEV++(多程编码体积)、CREStereo++(不确定性感知的自适应 warp)等后续工作,可顺着迭代式小节继续追踪。

六、新手上路:如何用这个仓库学习成本体聚合 ✅

  1. 先读综述:仓库关联的 IJCV 2025 综述 "A Survey on Deep Stereo Matching in the Twenties" 是官方推荐入口,条目在 bibliography/inTheTwenties.txt;
  2. 按章节精读:在 README.md 中按 End-to-End Architectures → CNN-based Cost Volume Aggregation 的顺序看 2D/3D 分支,再看 Efficient-Oriented 部分;
  3. 引用文献:全部论文的 BibTeX 汇总在 references.bib,单篇也有独立文件,如 bibliography/GC-Net.txt、bibliography/PSMNet.txt、bibliography/RAFT-Stereo.txt;
  4. 获取仓库(只读参考):
git clone https://gitcode.com/gh_mirrors/aw/Awesome-Deep-Stereo-Matching

学习建议:新手先弄懂"特征提取 → 成本体构建 → 聚合/迭代 → 视差回归"这条主线,再对照上表比较三种方案,基本就能读懂仓库中 80% 的成本体类论文了。

登录后查看全文
Awesome-Deep-Stereo-Matching