Clay Foundation Model 训练全解析:7000万 Chips 全球采样策略指南

原创2026-11-13 11:44:322,318 阅读

Clay Foundation Model 训练全解析:7000万 Chips 全球采样策略指南

🌍 Clay Foundation Model(开源地球基础模型)是如何炼成的?本文将带你深入它背后的训练数据策略——基于全球 6 类卫星/航空影像平台、约 7000 万张影像 Chips、33.8 TB 数据量构建的平衡数据集,看懂这份"全球采样配方",你就理解了多传感器地球 AI 模型训练的完整思路。

一、为什么采样策略比算力更关键

Clay 是一个**传感器无关(sensor-agnostic)**的 MAE(Masked Autoencoder)基础模型:它能接受任意波段数、任意分辨率、任意尺寸的卫星影像输入,输出表征某片区域在某个时刻的 embedding。

要实现这一点,训练数据必须同时覆盖:

  • 光谱多样性:不同传感器的波段定义
  • 空间多样性:全球不同地貌、城市与乡村
  • 时间多样性:不同季节与年份
  • 分辨率跨度:从 0.5 米航空影像到 500 米 MODIS

完整采样文档见 docs/release-notes/data_sampling.md,训练透明度说明(Training Card)见 docs/release-notes/specification.md。

二、第一步:挑选 6 大影像平台

入选标准非常务实:云端可用、有 STAC 目录、格式经过云优化(Cloud Optimized)。最终 Clay v1 训练使用了 6 类平台:

平台 空间覆盖 光谱波段 地面分辨率 GSD
Sentinel-2 L2A 全球 10 个光学波段 10 m
Landsat 8 / 9 全球 6 个光学波段 30 m
Sentinel-1 RTC(SAR 雷达) 全球 2 个雷达波段 10 m
NAIP(美国航空影像) 美国 4 个光学波段 < 1 m
LINZ(新西兰航空影像) 新西兰 3 个光学波段 < 0.5 m
MODIS 全球 7 个波段 500 m

💡 注意从 0.5 m 到 500 m 的分辨率跨度——这正是 Clay "多尺度通吃"能力的来源。

每个平台的波长、归一化均值/方差等参数统一维护在 configs/metadata.yaml,作为模型输入的一部分,让网络"知道"自己在看什么传感器。

三、核心策略:基于 MGRS 瓦片的全球平衡采样

🎯 核心原则:模型既要学会自然特征,也要学会人造特征(城市、农田)。而人造目标往往更小、分布更不均,所以采样必须刻意向人类景观倾斜。

3.1 用 MGRS 瓦片作为"分析单元"

采样以 MGRS 瓦片(Sentinel-2 分发所用的全球瓦片方案)为单位。对每个瓦片,基于 ESA WorldCover 土地覆盖图层(80 m 概览级加速计算)统计各类别的占比。

3.2 按土地覆盖类别"点名选瓦片"

对每个类别,从该类别占比最高的瓦片中随机抽取一批:

类别 抽样数 候选池(占比最高的)
Diversity(类别多样性) 400 2000
Built-up 建成区 300 + 1000 300 + 1500
Cropland 耕地 800 3600
Tree cover 树冠 150 750
Grassland 草地 200 500
Herbaceous wetland / Mangroves / Moss 各 50 各 500
Shrubland 灌木 100 500
Snow and Ice 冰雪 25 500
Bare / sparse vegetation 50 500
Permanent water bodies 50 1000

三个值得记住的设计:

  1. 稀有类别给足配额:冰雪、红树林等稀见类别虽然候选池小,但确保模型见过;
  2. 建成区双份配额:城市瓦片单独加码,弥补人造目标的分布不均;
  3. 多样性补集:额外从"类别数量最多的 2000 个瓦片"中抽 400 个,保证混合地貌的覆盖。

去重后共得到 2728 个 MGRS 瓦片,且同一组位置复用于所有 4 个全球卫星系统,保证不同传感器"看同一块地球",方便跨模态学习。

四、各平台的"时间切片"抽样技巧

有了空间位置,还要决定取哪个时间。Clay 用"少量年份 × 四季"的组合,用 6 次观测近似全年变化:

  • Landsat 8/9:每个位置随机选 1 个年份(2018–2023),取该年每个季度云量最少的景;L1 与 L2 产品都用,增加多样性;
  • Sentinel-2:每个位置随机选 2 个年份,每年取各季度云量最少的一景;
  • NAIP:按 Natural Earth 数据定向抽样——全部聚落、保护区/公园、机场、港口,每条河流随机 1 点、每个湖泊随机 1 点,另加 4000 个随机点,全部限定在美国 CONUS 区域(进一步放大人造目标权重);
  • LINZ:简单随机——每个目录抽取 50% 场景(10~2000 张之间),取各区域最新影像;
  • MODIS:使用 500 m 8 天表面反射率产品,只保留无 nodata 的 233 个 SIN 瓦片,每个瓦片在 2018–2023 年间每月取第一景,共 72 景/瓦片。

五、33.8 TB 数据集的 Chips 构成

通过 stacchip 流水线,最终切出约 7000 万张 Chips,总量 33.8 TB:

数据源 Chips 数量
NAIP 20,984,171
Sentinel-2 L2A 18,683,945
Sentinel-1 RTC 16,133,394
Landsat C2 L1 5,827,333
Landsat C2 L2 SR 5,790,651
LINZ 3,299,006
MODIS 1,350,864

可以看到:航空影像(NAIP + LINZ ≈ 2400 万张)刻意占到了三分之一以上——这是"人造特征优先"原则在数据配比上的直接体现。

每个 Chip 是一个 .npz 文件,包含像素体 + 归一化的时间(周/小时)与经纬度元数据。仓库中的工具脚本也说明了训练数据的工程细节:

六、训练配置:6.32 亿参数的 ViT 如何"吃下"多传感器数据

6.1 模型与损失

  • 架构:动态嵌入块 + 位置编码 + ViT-Large MAE 编码器(dim=1024, depth=24, heads=16)+ 轻量解码器 + DINOv2 教师模型
  • 损失构成:95% 重建损失(MAE 重构被掩码的 75% patches)+ 5% 表征损失(对齐 DINOv2 教师)
  • 总参数量 632M(编码器 311M / 解码器 15M / 教师 304M)

6.2 分布式训练规模

从 configs/config.yaml 和 train_clay.sh 可以看到一次完整的集群训练配置:

  • 集群:20 台 AWS g6.48xlarge(每台 8 张 NVIDIA L4 GPU),DDP 策略、bf16 混合精度
  • 超参:AdamW,学习率 1e-5,weight decay 0.05,余弦退火重启调度
  • 规模:约 100 个 epoch,每 epoch 约 8 小时(2024 年 9 月完成),最终训练/验证损失均为 0.165

🧾 官方还按斯坦福 Foundation Model 透明度索引披露了碳排放等训练账目,见 docs/release-notes/specification.md。

七、数据加载管线中的三个巧思

打开 claymodel/datamodule.py 会发现,数据加载本身就藏着不少采样智慧:

  1. 平台均衡采样器:ClayDistributedSampler 按平台分组,把小平台的索引重复补齐到最大平台的长度,再按平台轮流组 batch——保证 MODIS 和 NAIP 不会被"淹没";
  2. 位置/时间随机置零:20% 的 Chip 会把时间与经纬度元数据归零,逼模型学会纯靠像素也能理解内容;
  3. SAR 特殊处理:Sentinel-1 的反射率转为 dB 标度、坏像素替换为极小值,雷达和光学数据就能在同一归一化框架下共处。

验证集按 8:2 划分且按平台分层(stratify),确保每个传感器都有验证样本。

八、复现入口:从数据到训练只需一行命令

想自己跑起来?安装后只需:

# 快速验证(单批次)
python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml --trainer.fast_dev_run=True

# 正式训练
python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml

训练脚本 trainer.py 基于 LightningCLI 将模型与数据模块拼装起来,集群提交模板见 train_clay.sh,Slurm 集群配置模板见 cluster/ml-cluster.yaml.template。

九、采样策略的边界(官方已披露的局限)

  • 只覆盖陆地与近海,不含极地、深海与夜间数据
  • 每个位置最多 6 个时间点,是档案库的极小抽样
  • 未显式包含极端事件(如洪水、火灾峰值时刻)

这些"刻意不做"同样重要——它们定义了模型的能力边界,也提醒使用者:基础模型是起点,领域应用仍需针对性微调。

十、总结:一份可复用的"地球数据采样清单"

📌 回顾 Clay 的配方,对任何想做地球基础模型的人来说都是通用方法论:

  1. 平台选择看三条件:云端可用、STAC 目录、云优化格式
  2. 空间用瓦片体系平衡:MGRS + 土地覆盖图层,稀有类别保底配额
  3. 人造目标加权:城市、机场、港口单独点名采样
  4. 时间取"季度最清晰":用云量过滤换观测质量
  5. 小平台靠采样器补齐:数据均衡放在 DataLoader 层做
  6. 元数据随机丢弃:防止模型"背坐标"而不是"看内容"

这套策略的最终产物——约 7000 万 Chips 支撑的 6.32 亿参数模型——以 Apache-2.0 协议开源。想继续深入,可从 docs/getting-started/quickstart.md 快速上手,再到 docs/tutorials/embeddings.ipynb 亲手生成你的第一组地球 embedding。

登录后查看全文
model