DA3Mono-LARGE-MLX 网络架构完整解析:DinoV2 ViT-L/14 + DPT 解码器如何搞定单目深度估计
DA3Mono-LARGE-MLX 网络架构完整解析:DinoV2 ViT-L/14 + DPT 解码器如何搞定单目深度估计
DA3Mono-LARGE-MLX 是一个面向 Apple Silicon 的单目深度估计模型仓库:它以 DinoV2 ViT-L/14 为骨干网络、DPT 为解码器,由 Depth Anything 3 Mono(ByteDance)转换而来,基于 MLX 框架运行,只需一张照片即可输出 504×504 的深度图。本文带你逐层拆解它的网络架构设计,并给出一键本地运行的最短路径。
一、它是什么?一张图看懂整体架构
DA3Mono-LARGE-MLX 的核心任务非常直观:输入一张 RGB 照片,输出每个像素的相对深度。模型整体由三部分组成:
| 组成 | 角色 | 关键参数 |
|---|---|---|
| DinoV2 ViT-L/14 | 视觉骨干(Backbone),提取多尺度语义特征 | 1024 维、24 层、16 头、patch 14×14 |
| DPT Head | 解码器,把 36×36 的 token 特征逐级上采样回 504×504 | features=256,通道 [256, 512, 1024, 1024] |
| Sky 辅助分支 | 额外输出天空掩码,辅助深度估计 | 1 通道,relu 激活 |
整个模型的规格在 config.json 中一目了然:输入为 NCHW float32, ImageNet-normalized, 504x504,输出为 depth 与 sky 两路,权重来源于 depth-anything/DA3MONO-LARGE。
数据流可以概括为一句话:
504×504 图像 → Patch 切块 → 24 层 Transformer 特征提取(4 个层位取样)→ DPT 四级融合上采样 → exp 激活得深度 / relu 激活得天空
二、ViT-L/14 骨干:单目深度估计的"眼睛"
骨干网络的实现在 da3mono_mlx.py 的 ViTBackbone 类中,它是典型的 DinoV2 ViT-Large 结构:
1. 图像切块(Patch Embedding)
输入图像被一个 14×14 卷积(stride 同样为 14)切成 token。504 ÷ 14 = 36,因此得到 36×36 = 1296 个 patch token,每个 token 维度为 1024。序列最前面还会拼接 1 个可学习的 [CLS] token,最终序列长度为 1297。
2. 位置编码是"预烘焙"的
值得注意的是,位置嵌入(pos_embed)在权重转换阶段就已经用双三次插值预烘焙成了固定 504×504 的形状(见 da3mono_mlx.py),这意味着推理时输入尺寸必须严格为 504×504,省去了运行时的插值开销——这是 MLX 版本为换取速度做出的一个明确取舍。
3. 24 个 Transformer 块 + LayerScale
每个 Block(da3mono_mlx.py)的结构是标准的 Pre-LN 设计:
LayerNorm → Multi-Head Attention → 残差 + LayerScaleLayerNorm → GELU MLP(×4) → 残差 + LayerScale
LayerScale 是 DinoV2 的标志性技巧:为每个残差支路引入一个逐通道的可学习缩放系数(源码中的 ls1/ls2),让训练初期梯度更稳定,是 ViT-L 这类大模型能收敛的关键细节之一。注意力部分使用 mx.fast.scaled_dot_product_attention 加速计算(da3mono_mlx.py),在 Apple 芯片上可获得更高效的访存。
4. 为什么在第 4、11、17、23 层取样?
out_layers = <a href="https://link.gitcode.com/i/38c42a2453646d9a803d0348c88cf701" target="_blank">4, 11, 17, 23] 是 DPT 风格"分层取特征"的经典配置:从浅到深,分别取 24 层中的 4 个代表层。浅层保留更多空间细节(边缘、纹理),深层富含语义(物体、场景),四路特征一起送给解码器,才能兼顾"画得准"和"看得懂"。每个取样层都会先过最后的 LayerNorm,再去掉 CLS token,还原为 36×36 的空间特征图([da3mono_mlx.py)。
三、DPT 解码器:多尺度特征融合的深度剖析
DPT(Dense Prediction Transformer)解码头是 da3mono_mlx.py 中的 DPTHead,它的任务是解决 ViT 的固有短板——token 分辨率太低:36×36 的特征图无法直接对应 504×504 的像素级深度输出。
3.1 四路特征对齐(Projects + Resize)
四路特征分别经过 1×1 卷积投影到目标通道数 [256, 512, 1024, 1024],再做空间对齐:
| 来源层 | 初始尺寸 | 上采样方式 | 对齐后尺寸 |
|---|---|---|---|
| 第 4 层(浅) | 36×36 | 4× 转置卷积 | 144×144 |
| 第 11 层 | 36×36 | 2× 转置卷积 | 72×72 |
| 第 17 层(深) | 36×36 | 保持 | 36×36 |
| 第 23 层(最深) | 36×36 | 2× 下采样 3×3 卷积 | 18×18 |
3.2 RefineNet 四级融合:从粗到细
对齐后的四路特征送入 4 个 FeatureFusionBlock(da3mono_mlx.py),按 refinenet4 → refinenet3 → refinenet2 → refinenet1 的顺序从最深层向最浅层逐级融合,每融合一级就双线性上采样一次,分辨率路径为:
18×18 → 36×36 → 72×72 → 144×144
每个融合块内部的"精修器"是 RCU(Residual Conv Unit,da3mono_mlx.py):relu → conv3×3 → relu → conv3×3 + 残差连接,两次 3×3 卷积的组合相当于一个感受野更大的平滑卷积,在融合特征的同时保持细节不被抹平。
3.3 双输出头:exp 与 relu 的巧妙分工
融合后的 144×144 特征经 output_conv1 降维到 128 通道,再双线性放大到 504×504,随后分成两个平行的 1 通道输出头(da3mono_mlx.py):
- 深度头:
depth = exp(logits)。指数激活从数学上保证深度恒为正数,且对远近距离有天然的非线性敏感度——远端微小的 logits 变化会被放大,近处则相对平缓,非常贴合真实场景的景深分布。 - 天空头:
sky = relu(logits)。天空区域的深度几乎恒定且难以估计,单独的 sky 分支相当于给模型一个"辅助答案",帮它区分"远景"和"天空",是 Depth Anything 系列的经典设计。
四、输入输出规格与精度表现
| 项目 | 规格 |
|---|---|
| 输入 | (1, 3, 504, 504) float32,ImageNet 归一化:(x/255 - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225] |
| 输出 | depth (504, 504) = exp(logits);sky (504, 504) = relu(logits) |
| 权重精度 | fp32(另有 fp16 变体可参考 README) |
| 权重格式 | safetensors,键名沿用 PyTorch 命名(去掉 model. 前缀),卷积权重已转为 MLX 的 NHWC 布局 |
权重加载逻辑在 da3mono_mlx.py 的 load_weights 中,按 backbone.pretrained.* 与 head.* 两个前缀把 PyTorch 键名精确映射到 MLX 模块上,实现了"零改动加载官方权重"。
精度方面,README.md 给出了与官方 PyTorch 前向传播的对照验证结果:
| 指标 | 数值 |
|---|---|
| depth Pearson 相关系数 | 0.9999998 |
| depth 中位相对误差 | 0.07 % |
| depth 最大绝对误差 | 0.02 |
几乎逐位一致,说明 MLX 转换在数值上是高保真的。
五、最快上手:一键跑通深度估计
克隆仓库
git clone https://gitcode.com/hf_mirrors/mlx-community/DA3Mono-LARGE-MLX
直接运行自测脚本(da3mono_mlx.py 内置了 __main__ 入口,用随机张量验证前向传播并打印耗时):
python da3mono_mlx.py model.safetensors
用自己的照片跑深度图(核心用法见 README.md,约 10 行代码):
import mlx.core as mx
import numpy as np
from PIL import Image
from da3mono_mlx import DA3MonoMLX
model = DA3MonoMLX().load_weights("model.safetensors")
img = Image.open("photo.jpg").convert("RGB").resize((504, 504), Image.BICUBIC)
a = np.asarray(img).astype(np.float32) / 255.0
x = (a - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225]
x = mx.array(x.transpose(2, 0, 1)[None]) # NCHW
depth, sky = model(x)
mx.eval(depth, sky)
几个实践要点:
- 图片必须缩放到 504×504,否则位置编码不匹配
- 归一化参数别忘做,否则输出会完全失真
- 首次调用包含 MLX 编译时间,正式计时请忽略第一帧
六、总结:这套架构设计好在哪?
DA3Mono-LARGE-MLX 是一个"麻雀虽小、五脏俱全"的单目深度估计参考实现,值得学习的点有三个:
- 分层取样 + 渐进融合:24 层 Transformer 只取 4 层特征,DPT 解码器用 4 级 RefineNet 从 18×18 一路拼回 504×504,用最小的解码成本换来了像素级精度;
- 激活函数即约束:
exp保正、relu门控天空,两个激活函数就解决了深度估计的两个物理先验; - 面向硬件的工程化取舍:位置编码预烘焙、NCHW 转 NHWC、fp32/fp16 双精度并存,都是为了让同一套网络在 Apple 芯片上跑得又快又准。
如果你想在 Apple Silicon 上做深度估计、3D 场景理解或视觉空间恢复(Depth Anything 3 的目标是 "Recovering the Visual Space from Any Views"),这套 ViT-L/14 + DPT 的组合是一个可以直接落地的扎实起点。
模型权重许可为 CC-BY-NC-4.0(非商业用途),引用请参考 README.md 中的 BibTeX 信息。