Clay Foundation Model模型架构深度剖析:ViT+MAE+DINOv2 Teacher完全解读

原创2026-11-13 11:23:181,997 阅读

Clay Foundation Model模型架构深度剖析:ViT+MAE+DINOv2 Teacher完全解读

Clay Foundation Model 是一个开源的地球 AI 基础模型(An open source AI model and interface for Earth),采用 ViT 编码器 + MAE 掩码重建 + DINOv2 Teacher 蒸馏 的混合架构,能统一处理 Sentinel-2、Landsat、MODIS 等多种卫星传感器的任意波段输入,输出可用于下游任务的向量嵌入。本文将带你彻底看懂它的每一个核心组件。

一、架构总览:四大组件如何协同 🧩

Clay v1.5 的模型主体 ClayMAE 由四个关键部分组成(官方架构说明见 docs/release-notes/specification.md):

组件 职责 源码位置
Dynamic Embedding 将任意波段数的芯片转为 patch 嵌入 claymodel/factory.py
Position Encoding 注入空间、时间、分辨率信息 claymodel/utils.py
ViT Encoder + MAE Decoder 掩码重建,学习地球场景表征 claymodel/model.py
DINOv2 Teacher 冻结的视觉教师模型,蒸馏表征 claymodel/model.py

整体参数约 632M:编码器 311M + 解码器 15M + 教师模型 304M(教师不参与推理,磁盘上只保存编码器,约 1.25 GB)。

二、第一道关卡:Dynamic Embedding 动态切块 🔍

传统 ViT 用固定卷积核做 patch 切分,但卫星数据的核心难题是:不同传感器的波段数和波长完全不同(Sentinel-2 有 10 个波段,Sentinel-1 SAR 只有 2 个)。Clay 借鉴 DOFA 论文的 DynamicEmbedding 模块解决这一问题:

  1. 波长编码:每个输入波段的中心波长先经 sincos 位置编码(posemb_sincos_1d);
  2. 动态生成权重:一个小型 WavesTransformer 根据波长序列"现场"生成卷积核权重和偏置;
  3. 等价卷积切块:生成的动态卷积核以 patch_size=8 为步长对芯片做卷积,得到 patch 嵌入。

这样一来,同一个编码器就能无缝处理"任意大小、任意波段数"的地球数据,无需为每种传感器单独设计网络。波段参数(波长、归一化均值/标准差)来自 configs/metadata.yaml。

三、位置编码:把空间、时间、分辨率"焊"进嵌入 🌍

每个 patch 嵌入会加上三部分位置信息(Encoder.add_encodings):

  • 2D sincos 空间位置:维度为 dim - 8,并且按 GSD(地面采样距离)缩放——10m 分辨率的 Sentinel-2 与 30m 的 Landsat 在几何感知上对齐;
  • 时间编码(2 维):一年中的周 + 一天中的小时;
  • 经纬度编码(2 维):归一化后的纬度 + 经度。

三者拼接为 8 维元数据向量,与空间编码相加后注入每个 patch。这意味着模型"知道"自己在看地球哪个位置、什么季节、什么分辨率的图像。数据侧还做了鲁棒性增强:约 20% 的样本会将时间与经纬度置零(claymodel/datamodule.py),迫使模型不完全依赖元数据。

四、ViT 编码器:75% 掩码的自监督设计 🎭

Encoder 是标准 ViT 结构(Transformer 主干,由多头自注意力 + 前馈网络堆叠而成),核心流程:

  1. 随机打乱并掩码:将 256×256 芯片按 8×8 切成 1024 个 patch,随机丢弃 75%(mask_ratio=0.75),只把 256 个可见 patch 送入 Transformer;
  2. CLS Token:序列首位拼接一个可学习的 class token,最终嵌入就是由它承载整幅芯片的语义;
  3. 通道随机丢弃:训练时 10% 概率丢弃全部波段、20% 概率丢弃一半波段(ClayMAE.forward),模拟真实场景中云遮挡、传感器故障等"部分输入"情况;
  4. 传感器均衡采样:ClaySampler 保证每个 batch 只包含单一平台,且各传感器在 epoch 内等量出现,避免数据量大的传感器主导训练。

五、MAE 解码器:轻量重建像素 🔄

Decoder 只有 4 层、维度 512,是典型的 MAE 设计——"重建"只是训练手段,推理时直接丢弃:

  • 被掩码的位置填入可学习的 mask_patch 标记并补上位置编码;
  • 可见 patch 的编码经 enc_to_dec 线性投影降维后,与标记位按原位置重排拼接;
  • 经过解码 Transformer 后,再用一个解码模式的 Dynamic Embedding 把每个 patch 的表示"展开"回像素;
  • 仅在 被掩码的 patch 上 计算逐像素 L1 损失(per_pixel_loss)。

一个小细节:MODIS 的重建损失比其他传感器高约 10 倍,代码中对其除以 10 以平衡梯度(model.py)。

六、DINOv2 Teacher:5% 损失背后的表征蒸馏 🎓

这是 Clay 区别于普通 MAE 的关键设计。模型内嵌一个 冻结的 DINOv2 教师网络:

self.teacher = timm.create_model(teacher, pretrained=True, num_classes=0)

具体配置为 vit_large_patch14_reg4_dinov2.lvd142m(configs/config.yaml),并通过 freeze_teacher 关闭梯度、锁定 eval 模式。其工作流程:

  1. 从原始芯片中取出 RGB 波段(由 metadata.yaml 的 rgb_indices 指定;Sentinel-1 SAR 则用两幅图合成伪 RGB),缩放到 518×518;
  2. 教师模型输出整图特征向量;
  3. 学生侧的 CLS token 经线性层 proj 投影到同一维度;
  4. 用 余弦相似度损失 拉近两者(model.py):

直觉上:MAE 让模型"看得懂像素"(底层感知),DINOv2 让模型"看得懂语义"(高层理解)。由于 DINOv2 已在 1.42 亿张自然图像上自监督预训练,它把强大的自然视觉语义迁移到了遥感场景。

七、损失设计:0.9 + 0.1 的黄金配比 ⚖️

总损失是一个简单而有效的加权组合(model.py):

损失项 权重 来源
重建损失(Masked Reconstruction) 0.9 解码器重建掩码 patch 的 L1 误差
表征损失(Representation) 0.1 学生 CLS 与 DINOv2 特征的余弦距离

此外,仓库中保留了 MRL(Matryoshka 嵌套表征学习,claymodel/mrl.py) 的实验代码:把嵌入按 16/32/64/128/256 维逐层截断分别对齐教师,但 v1.5 正式版本中已注释掉,改用单一投影层方案。

八、模型规格一览:从 tiny 到 large 📊

claymodel/model.py 提供了四档规格,通过 ClayMAEModule 的 model_size 参数切换:

规格 编码器维度 深度 注意力头 解码器维度
tiny 192 6 4 96
small 384 6 6 192
base 768 12 12 512
large ⭐ 1024 24 16 512

正式发布的 v1.5 权重基于 clay_mae_large,训练细节:7000 万张全球分布的芯片、20 台 g6.48xlarge 实例(共 160 张 L4 GPU)、约 100 个 epoch、bf16 混合精度(见 docs/release-notes/specification.md)。优化器为 AdamW(lr=5e-6, wd=0.05)+ CosineAnnealingWarmRestarts 调度(module.py)。

九、想动手?关键文件速查 📂

如果你想深入阅读源码或复现训练,建议按以下路径入手:

如需本地克隆源码研究:

git clone https://gitcode.com/gh_mirrors/model2/model
cd model

十、总结:为什么这套架构值得学习 ✅

Clay Foundation Model 用三个经典组件的巧妙组合回答了"地球基础模型该长什么样"的问题:

  1. Dynamic Embedding 解决了多传感器统一输入;
  2. GSD 感知的时空位置编码 让不同分辨率、不同季节的图像在同一语义空间对齐;
  3. MAE 重建(90%)+ DINOv2 蒸馏(10%) 兼顾底层像素感知与高层视觉语义。

最终输出的向量嵌入可支撑分类、分割、回归等多种下游任务(参见 claymodel/finetune/ 下的 EuroSAT 分类、Biomasters 回归、Chesapeake 分割示例),是一个从架构到工程都值得新手拆解学习的开源范本。

登录后查看全文
model