DA3Mono-LARGE-MLX 网络架构完整解析:DinoV2 ViT-L/14 + DPT 解码器如何搞定单目深度估计

原创2026-10-16 12:55:131,373 阅读

DA3Mono-LARGE-MLX 网络架构完整解析:DinoV2 ViT-L/14 + DPT 解码器如何搞定单目深度估计

DA3Mono-LARGE-MLX 是一个面向 Apple Silicon 的单目深度估计模型仓库:它以 DinoV2 ViT-L/14 为骨干网络、DPT 为解码器,由 Depth Anything 3 Mono(ByteDance)转换而来,基于 MLX 框架运行,只需一张照片即可输出 504×504 的深度图。本文带你逐层拆解它的网络架构设计,并给出一键本地运行的最短路径。

一、它是什么?一张图看懂整体架构

DA3Mono-LARGE-MLX 的核心任务非常直观:输入一张 RGB 照片,输出每个像素的相对深度。模型整体由三部分组成:

组成 角色 关键参数
DinoV2 ViT-L/14 视觉骨干(Backbone),提取多尺度语义特征 1024 维、24 层、16 头、patch 14×14
DPT Head 解码器,把 36×36 的 token 特征逐级上采样回 504×504 features=256,通道 [256, 512, 1024, 1024]
Sky 辅助分支 额外输出天空掩码,辅助深度估计 1 通道,relu 激活

整个模型的规格在 config.json 中一目了然:输入为 NCHW float32, ImageNet-normalized, 504x504,输出为 depth 与 sky 两路,权重来源于 depth-anything/DA3MONO-LARGE。

数据流可以概括为一句话:

504×504 图像 → Patch 切块 → 24 层 Transformer 特征提取(4 个层位取样)→ DPT 四级融合上采样 → exp 激活得深度 / relu 激活得天空

二、ViT-L/14 骨干:单目深度估计的"眼睛"

骨干网络的实现在 da3mono_mlx.py 的 ViTBackbone 类中,它是典型的 DinoV2 ViT-Large 结构:

1. 图像切块(Patch Embedding)

输入图像被一个 14×14 卷积(stride 同样为 14)切成 token。504 ÷ 14 = 36,因此得到 36×36 = 1296 个 patch token,每个 token 维度为 1024。序列最前面还会拼接 1 个可学习的 [CLS] token,最终序列长度为 1297。

2. 位置编码是"预烘焙"的

值得注意的是,位置嵌入(pos_embed)在权重转换阶段就已经用双三次插值预烘焙成了固定 504×504 的形状(见 da3mono_mlx.py),这意味着推理时输入尺寸必须严格为 504×504,省去了运行时的插值开销——这是 MLX 版本为换取速度做出的一个明确取舍。

3. 24 个 Transformer 块 + LayerScale

每个 Block(da3mono_mlx.py)的结构是标准的 Pre-LN 设计:

  • LayerNorm → Multi-Head Attention → 残差 + LayerScale
  • LayerNorm → GELU MLP(×4) → 残差 + LayerScale

LayerScale 是 DinoV2 的标志性技巧:为每个残差支路引入一个逐通道的可学习缩放系数(源码中的 ls1/ls2),让训练初期梯度更稳定,是 ViT-L 这类大模型能收敛的关键细节之一。注意力部分使用 mx.fast.scaled_dot_product_attention 加速计算(da3mono_mlx.py),在 Apple 芯片上可获得更高效的访存。

4. 为什么在第 4、11、17、23 层取样?

out_layers = <a href="https://link.gitcode.com/i/38c42a2453646d9a803d0348c88cf701" target="_blank">4, 11, 17, 23] 是 DPT 风格"分层取特征"的经典配置:从浅到深,分别取 24 层中的 4 个代表层。浅层保留更多空间细节(边缘、纹理),深层富含语义(物体、场景),四路特征一起送给解码器,才能兼顾"画得准"和"看得懂"。每个取样层都会先过最后的 LayerNorm,再去掉 CLS token,还原为 36×36 的空间特征图([da3mono_mlx.py)。

三、DPT 解码器:多尺度特征融合的深度剖析

DPT(Dense Prediction Transformer)解码头是 da3mono_mlx.py 中的 DPTHead,它的任务是解决 ViT 的固有短板——token 分辨率太低:36×36 的特征图无法直接对应 504×504 的像素级深度输出。

3.1 四路特征对齐(Projects + Resize)

四路特征分别经过 1×1 卷积投影到目标通道数 [256, 512, 1024, 1024],再做空间对齐:

来源层 初始尺寸 上采样方式 对齐后尺寸
第 4 层(浅) 36×36 4× 转置卷积 144×144
第 11 层 36×36 2× 转置卷积 72×72
第 17 层(深) 36×36 保持 36×36
第 23 层(最深) 36×36 2× 下采样 3×3 卷积 18×18

3.2 RefineNet 四级融合:从粗到细

对齐后的四路特征送入 4 个 FeatureFusionBlock(da3mono_mlx.py),按 refinenet4 → refinenet3 → refinenet2 → refinenet1 的顺序从最深层向最浅层逐级融合,每融合一级就双线性上采样一次,分辨率路径为:

18×18 → 36×36 → 72×72 → 144×144

每个融合块内部的"精修器"是 RCU(Residual Conv Unit,da3mono_mlx.py):relu → conv3×3 → relu → conv3×3 + 残差连接,两次 3×3 卷积的组合相当于一个感受野更大的平滑卷积,在融合特征的同时保持细节不被抹平。

3.3 双输出头:exp 与 relu 的巧妙分工

融合后的 144×144 特征经 output_conv1 降维到 128 通道,再双线性放大到 504×504,随后分成两个平行的 1 通道输出头(da3mono_mlx.py):

  • 深度头:depth = exp(logits)。指数激活从数学上保证深度恒为正数,且对远近距离有天然的非线性敏感度——远端微小的 logits 变化会被放大,近处则相对平缓,非常贴合真实场景的景深分布。
  • 天空头:sky = relu(logits)。天空区域的深度几乎恒定且难以估计,单独的 sky 分支相当于给模型一个"辅助答案",帮它区分"远景"和"天空",是 Depth Anything 系列的经典设计。

四、输入输出规格与精度表现

项目 规格
输入 (1, 3, 504, 504) float32,ImageNet 归一化:(x/255 - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225]
输出 depth (504, 504) = exp(logits);sky (504, 504) = relu(logits)
权重精度 fp32(另有 fp16 变体可参考 README)
权重格式 safetensors,键名沿用 PyTorch 命名(去掉 model. 前缀),卷积权重已转为 MLX 的 NHWC 布局

权重加载逻辑在 da3mono_mlx.py 的 load_weights 中,按 backbone.pretrained.* 与 head.* 两个前缀把 PyTorch 键名精确映射到 MLX 模块上,实现了"零改动加载官方权重"。

精度方面,README.md 给出了与官方 PyTorch 前向传播的对照验证结果:

指标 数值
depth Pearson 相关系数 0.9999998
depth 中位相对误差 0.07 %
depth 最大绝对误差 0.02

几乎逐位一致,说明 MLX 转换在数值上是高保真的。

五、最快上手:一键跑通深度估计

克隆仓库

git clone https://gitcode.com/hf_mirrors/mlx-community/DA3Mono-LARGE-MLX

直接运行自测脚本(da3mono_mlx.py 内置了 __main__ 入口,用随机张量验证前向传播并打印耗时):

python da3mono_mlx.py model.safetensors

用自己的照片跑深度图(核心用法见 README.md,约 10 行代码):

import mlx.core as mx
import numpy as np
from PIL import Image
from da3mono_mlx import DA3MonoMLX

model = DA3MonoMLX().load_weights("model.safetensors")

img = Image.open("photo.jpg").convert("RGB").resize((504, 504), Image.BICUBIC)
a = np.asarray(img).astype(np.float32) / 255.0
x = (a - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225]
x = mx.array(x.transpose(2, 0, 1)[None])          # NCHW

depth, sky = model(x)
mx.eval(depth, sky)

几个实践要点:

  • 图片必须缩放到 504×504,否则位置编码不匹配
  • 归一化参数别忘做,否则输出会完全失真
  • 首次调用包含 MLX 编译时间,正式计时请忽略第一帧

六、总结:这套架构设计好在哪?

DA3Mono-LARGE-MLX 是一个"麻雀虽小、五脏俱全"的单目深度估计参考实现,值得学习的点有三个:

  1. 分层取样 + 渐进融合:24 层 Transformer 只取 4 层特征,DPT 解码器用 4 级 RefineNet 从 18×18 一路拼回 504×504,用最小的解码成本换来了像素级精度;
  2. 激活函数即约束:exp 保正、relu 门控天空,两个激活函数就解决了深度估计的两个物理先验;
  3. 面向硬件的工程化取舍:位置编码预烘焙、NCHW 转 NHWC、fp32/fp16 双精度并存,都是为了让同一套网络在 Apple 芯片上跑得又快又准。

如果你想在 Apple Silicon 上做深度估计、3D 场景理解或视觉空间恢复(Depth Anything 3 的目标是 "Recovering the Visual Space from Any Views"),这套 ViT-L/14 + DPT 的组合是一个可以直接落地的扎实起点。

模型权重许可为 CC-BY-NC-4.0(非商业用途),引用请参考 README.md 中的 BibTeX 信息。

登录后查看全文
DA3Mono-LARGE-MLX