Clay Foundation Model 如何支持任意光谱波段数:Dynamic Embedding 动态嵌入块深度解析
Clay Foundation Model 如何支持任意光谱波段数:Dynamic Embedding 动态嵌入块深度解析
你是否好奇:为什么 Clay Foundation Model 能同时处理 Sentinel-2 的 10 个波段、Sentinel-1 SAR 的 2 个波段,甚至 Landsat 的 6 个波段?答案就藏在名为 Dynamic Embedding(动态嵌入块) 的核心设计里。它把"波段数量 + 波长"作为输入变量,动态生成卷积权重,让同一个模型无需任何改动即可接收任意数量的光谱波段。本文将用通俗的方式拆解这一机制的原理、代码实现与使用技巧。
先搞懂问题:固定波段数为什么不行?
传统遥感模型的输入层通常是固定的卷积核,比如 3 × kernel × kernel,只认 RGB 三色。面对卫星数据时立刻遇到瓶颈:
| 传感器 | 波段数 | 波段含义 |
|---|---|---|
| Sentinel-2 | 10 | 蓝绿红、红边、近红外、短波红外 |
| Landsat | 6 | 红绿蓝、近红外、短波红外 |
| NAIP | 4 | RGB + NIR |
| Sentinel-1 SAR | 2 | VV / VH 极化 |
| MODIS | 7 | 多光谱反射率 |
如果为每个传感器训练一个独立模型,维护成本极高,而且不同传感器间无法共享知识。Clay 的目标是"一个模型,吃遍所有传感器",这就要求输入层必须对波段数 C 完全不设限。
Dynamic Embedding 的核心思想:把权重当成"算出来的"
动态嵌入块的灵感来自论文 DOFA(Dynamic Embedding,见 factory.py 头部注释)。它颠覆了常规做法:
- 传统方式:卷积权重是训练好后固定下来的参数,形状写死为
输入通道数 × 输出通道数 × kernel × kernel,输入通道一变就失效。 - Dynamic Embedding 方式:卷积权重不再直接存储,而是由一个小型 Transformer(
WavesTransformer)根据波段数量与波长"现场生成"。波段数是多少,权重就自动适配多少。
一句话概括:波长信息 → 编码成特征 → 生成卷积核 → 卷积切分 patch,整条链路里没有任何写死的波段数假设。
源码拆解:DynamicEmbedding 的三步走
核心类 DynamicEmbedding 只有约 70 行,逻辑非常清晰。
第 1 步:波长 → Sincos 位置编码
每个波段的中心波长(单位 μm)通过 posemb_sincos_1d 编码为 128 维的正余弦向量:
waves = posemb_sincos_1d(waves, self.wave_dim)
waves = self.fclayer(waves) # FCBlock 非线性增强
Sincos 编码是确定性的、不依赖参数的映射,这意味着模型见过"波长 0.865",就能泛化到训练中没出现过的相近波长,也为泛化到任意波段打下基础。
第 2 步:WavesTransformer 生成卷积权重
WavesTransformer 是一台"权重打印机":
- 把波段特征与一组可学习的
weight_tokens、bias_token拼接后送入 1 层 Transformer Encoder; - 用
fc_weight线性层把每个波段 token 投影为一个权重块,形状恰好是C_in × C_out × P × P(C_in= 波段数,C_out= 嵌入维度,P= patch 边长); - 用
fc_bias生成卷积偏置。
关键代码(编码模式):
dynamic_weight = rearrange(
weight,
"cin (cout k1 k2) -> cout cin k1 k2",
k1=self.patch_size, k2=self.patch_size,
)
dynamic_out = F.conv2d(batch, dynamic_weight * 0.02, bias=bias, stride=self.patch_size)
注意 cin 维度由波长列表长度决定——你给 2 个波段就生成 2 通道核,给 10 个就生成 10 通道核,这就是"任意波段数"的直接来源。
第 3 步:动态卷积切分 patch
生成的权重对输入 datacube <a href="https://link.gitcode.com/i/7ad029f79626a202546f044aed7402e5" target="_blank">B, C, H, W] 做一次步长为 patch_size(v1.5 中为 8)的卷积,输出 [B, L, D] 的 patch token 序列,随后交给 Transformer 主干。这一步在 [Encoder.to_patch_embed 中被调用,替换了 ViT 里原本固定的 nn.Conv2d 投影层。
解码侧同样有一块动态嵌入:Decoder.embed_to_pixels 以 is_decoder=True 模式复用同一机制,把每个 patch embedding 反卷积还原回 C × P × P 的像素块——重建多少波段,完全由输入的 waves 列表决定。
波段与波长从哪里来:metadata.yaml 是"遥控器"
所有传感器的波段名、中心波长、GSD 与归一化参数都集中在 configs/metadata.yaml 中维护,例如 Sentinel-2 的 10 个波段波长:
sentinel-2-l2a:
band_order: [blue, green, red, rededge1, ..., swir22]
gsd: 10
bands:
wavelength: {blue: 0.493, green: 0.56, ..., swir22: 2.19}
前向时,模型按传感器读取波长列表并张量化,传入 DynamicEmbedding:
waves = torch.tensor(list(self.metadata[platform].bands.wavelength.values()))
(见 ClayMAE.forward)。因此更换传感器 = 更换一份 wavelength 列表,模型结构零改动。
为什么训练时敢"随便丢波段"?
Clay 在训练中还加入了一项通道随机丢弃的数据增强(model.py):
- 10% 概率丢弃全部波段(像素置 0);
- 20% 概率随机丢弃一半波段。
这迫使模型学会在"波段残缺"时仍能重建与表征,等效于让模型见过 2~10 各种波段数的组合,进一步巩固了 Dynamic Embedding 对任意 C 的鲁棒性。
实战:给自己的传感器接入任意波段数
接入新传感器不需要碰任何模型代码,只需三步(详见 docs/getting-started/basic_use.md):
- 本地复制 metadata:
cp configs/metadata.yaml my_local_metadata.yaml; - 填入新传感器配置:波段顺序
band_order、gsd、每波段的wavelength与mean/std归一化统计(统计量可用自己的数据计算); - 推理时传入波长列表:
model.encoder(chips, timestamps, wavelengths),波段数与你数据张量的 C 维一致即可。
配置示例:
your-new-sensor:
band_order: [blue, green, red, nir]
gsd: 10.0
bands:
wavelength: {blue: 0.485, green: 0.560, red: 0.660, nir: 0.835}
这样,哪怕是超光谱数据(几十上百个波段),只要波长落在模型训练见过的光谱范围内,Dynamic Embedding 就能现场生成对应形状的卷积核。
总结:Dynamic Embedding 到底聪明在哪?
- 参数与波段数解耦:卷积核形状随
len(waves)自适应,同一套权重生成器服务 2~10+ 个波段; - 波长即条件:sincos 编码 + 小 Transformer,让"光谱语义"成为可学习的条件信号,而非硬编码通道;
- 编解码双向复用:编码侧生成 patch 投影卷积,解码侧生成像素重建卷积,一套机制两处受益;
- 零代码扩展新传感器:只需在 configs/metadata.yaml 里登记波段与波长,即可让 Clay 理解你的新数据。
这也是 模型规格文档 将 Dynamic Embedding Block 列为 Clay v1.5 四大组件之首的原因——它是 Clay 作为"任意大小、任意波段"地球基础模型的第一块基石。
延伸阅读
- 模型整体架构:docs/release-notes/specification.md
- 编码器/解码器主流程:claymodel/model.py
- 微调指南(分类/回归/分割):claymodel/finetune/
- 快速上手:docs/getting-started/quickstart.md