Clay Foundation Model模型架构深度剖析:ViT+MAE+DINOv2 Teacher完全解读
Clay Foundation Model模型架构深度剖析:ViT+MAE+DINOv2 Teacher完全解读
Clay Foundation Model 是一个开源的地球 AI 基础模型(An open source AI model and interface for Earth),采用 ViT 编码器 + MAE 掩码重建 + DINOv2 Teacher 蒸馏 的混合架构,能统一处理 Sentinel-2、Landsat、MODIS 等多种卫星传感器的任意波段输入,输出可用于下游任务的向量嵌入。本文将带你彻底看懂它的每一个核心组件。
一、架构总览:四大组件如何协同 🧩
Clay v1.5 的模型主体 ClayMAE 由四个关键部分组成(官方架构说明见 docs/release-notes/specification.md):
| 组件 | 职责 | 源码位置 |
|---|---|---|
| Dynamic Embedding | 将任意波段数的芯片转为 patch 嵌入 | claymodel/factory.py |
| Position Encoding | 注入空间、时间、分辨率信息 | claymodel/utils.py |
| ViT Encoder + MAE Decoder | 掩码重建,学习地球场景表征 | claymodel/model.py |
| DINOv2 Teacher | 冻结的视觉教师模型,蒸馏表征 | claymodel/model.py |
整体参数约 632M:编码器 311M + 解码器 15M + 教师模型 304M(教师不参与推理,磁盘上只保存编码器,约 1.25 GB)。
二、第一道关卡:Dynamic Embedding 动态切块 🔍
传统 ViT 用固定卷积核做 patch 切分,但卫星数据的核心难题是:不同传感器的波段数和波长完全不同(Sentinel-2 有 10 个波段,Sentinel-1 SAR 只有 2 个)。Clay 借鉴 DOFA 论文的 DynamicEmbedding 模块解决这一问题:
- 波长编码:每个输入波段的中心波长先经 sincos 位置编码(posemb_sincos_1d);
- 动态生成权重:一个小型
WavesTransformer根据波长序列"现场"生成卷积核权重和偏置; - 等价卷积切块:生成的动态卷积核以
patch_size=8为步长对芯片做卷积,得到 patch 嵌入。
这样一来,同一个编码器就能无缝处理"任意大小、任意波段数"的地球数据,无需为每种传感器单独设计网络。波段参数(波长、归一化均值/标准差)来自 configs/metadata.yaml。
三、位置编码:把空间、时间、分辨率"焊"进嵌入 🌍
每个 patch 嵌入会加上三部分位置信息(Encoder.add_encodings):
- 2D sincos 空间位置:维度为
dim - 8,并且按 GSD(地面采样距离)缩放——10m 分辨率的 Sentinel-2 与 30m 的 Landsat 在几何感知上对齐; - 时间编码(2 维):一年中的周 + 一天中的小时;
- 经纬度编码(2 维):归一化后的纬度 + 经度。
三者拼接为 8 维元数据向量,与空间编码相加后注入每个 patch。这意味着模型"知道"自己在看地球哪个位置、什么季节、什么分辨率的图像。数据侧还做了鲁棒性增强:约 20% 的样本会将时间与经纬度置零(claymodel/datamodule.py),迫使模型不完全依赖元数据。
四、ViT 编码器:75% 掩码的自监督设计 🎭
Encoder 是标准 ViT 结构(Transformer 主干,由多头自注意力 + 前馈网络堆叠而成),核心流程:
- 随机打乱并掩码:将 256×256 芯片按 8×8 切成 1024 个 patch,随机丢弃 75%(
mask_ratio=0.75),只把 256 个可见 patch 送入 Transformer; - CLS Token:序列首位拼接一个可学习的 class token,最终嵌入就是由它承载整幅芯片的语义;
- 通道随机丢弃:训练时 10% 概率丢弃全部波段、20% 概率丢弃一半波段(ClayMAE.forward),模拟真实场景中云遮挡、传感器故障等"部分输入"情况;
- 传感器均衡采样:ClaySampler 保证每个 batch 只包含单一平台,且各传感器在 epoch 内等量出现,避免数据量大的传感器主导训练。
五、MAE 解码器:轻量重建像素 🔄
Decoder 只有 4 层、维度 512,是典型的 MAE 设计——"重建"只是训练手段,推理时直接丢弃:
- 被掩码的位置填入可学习的
mask_patch标记并补上位置编码; - 可见 patch 的编码经
enc_to_dec线性投影降维后,与标记位按原位置重排拼接; - 经过解码 Transformer 后,再用一个解码模式的 Dynamic Embedding 把每个 patch 的表示"展开"回像素;
- 仅在 被掩码的 patch 上 计算逐像素 L1 损失(per_pixel_loss)。
一个小细节:MODIS 的重建损失比其他传感器高约 10 倍,代码中对其除以 10 以平衡梯度(model.py)。
六、DINOv2 Teacher:5% 损失背后的表征蒸馏 🎓
这是 Clay 区别于普通 MAE 的关键设计。模型内嵌一个 冻结的 DINOv2 教师网络:
self.teacher = timm.create_model(teacher, pretrained=True, num_classes=0)
具体配置为 vit_large_patch14_reg4_dinov2.lvd142m(configs/config.yaml),并通过 freeze_teacher 关闭梯度、锁定 eval 模式。其工作流程:
- 从原始芯片中取出 RGB 波段(由 metadata.yaml 的
rgb_indices指定;Sentinel-1 SAR 则用两幅图合成伪 RGB),缩放到 518×518; - 教师模型输出整图特征向量;
- 学生侧的 CLS token 经线性层
proj投影到同一维度; - 用 余弦相似度损失 拉近两者(model.py):
直觉上:MAE 让模型"看得懂像素"(底层感知),DINOv2 让模型"看得懂语义"(高层理解)。由于 DINOv2 已在 1.42 亿张自然图像上自监督预训练,它把强大的自然视觉语义迁移到了遥感场景。
七、损失设计:0.9 + 0.1 的黄金配比 ⚖️
总损失是一个简单而有效的加权组合(model.py):
| 损失项 | 权重 | 来源 |
|---|---|---|
| 重建损失(Masked Reconstruction) | 0.9 | 解码器重建掩码 patch 的 L1 误差 |
| 表征损失(Representation) | 0.1 | 学生 CLS 与 DINOv2 特征的余弦距离 |
此外,仓库中保留了 MRL(Matryoshka 嵌套表征学习,claymodel/mrl.py) 的实验代码:把嵌入按 16/32/64/128/256 维逐层截断分别对齐教师,但 v1.5 正式版本中已注释掉,改用单一投影层方案。
八、模型规格一览:从 tiny 到 large 📊
claymodel/model.py 提供了四档规格,通过 ClayMAEModule 的 model_size 参数切换:
| 规格 | 编码器维度 | 深度 | 注意力头 | 解码器维度 |
|---|---|---|---|---|
tiny |
192 | 6 | 4 | 96 |
small |
384 | 6 | 6 | 192 |
base |
768 | 12 | 12 | 512 |
large ⭐ |
1024 | 24 | 16 | 512 |
正式发布的 v1.5 权重基于 clay_mae_large,训练细节:7000 万张全球分布的芯片、20 台 g6.48xlarge 实例(共 160 张 L4 GPU)、约 100 个 epoch、bf16 混合精度(见 docs/release-notes/specification.md)。优化器为 AdamW(lr=5e-6, wd=0.05)+ CosineAnnealingWarmRestarts 调度(module.py)。
九、想动手?关键文件速查 📂
如果你想深入阅读源码或复现训练,建议按以下路径入手:
- 模型核心(编码器/解码器/损失):claymodel/model.py
- 动态嵌入块:claymodel/factory.py
- ViT 主干(注意力与前馈):claymodel/backbone.py
- Lightning 训练模块:claymodel/module.py
- 数据加载与传感器均衡采样:claymodel/datamodule.py
- 训练配置:configs/config.yaml
- 传感器波段/波长/归一化参数:configs/metadata.yaml
- 训练入口:
python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml(trainer.py)
如需本地克隆源码研究:
git clone https://gitcode.com/gh_mirrors/model2/model
cd model
十、总结:为什么这套架构值得学习 ✅
Clay Foundation Model 用三个经典组件的巧妙组合回答了"地球基础模型该长什么样"的问题:
- Dynamic Embedding 解决了多传感器统一输入;
- GSD 感知的时空位置编码 让不同分辨率、不同季节的图像在同一语义空间对齐;
- MAE 重建(90%)+ DINOv2 蒸馏(10%) 兼顾底层像素感知与高层视觉语义。
最终输出的向量嵌入可支撑分类、分割、回归等多种下游任务(参见 claymodel/finetune/ 下的 EuroSAT 分类、Biomasters 回归、Chesapeake 分割示例),是一个从架构到工程都值得新手拆解学习的开源范本。