Clay Foundation Model 训练全解析:7000万 Chips 全球采样策略指南
Clay Foundation Model 训练全解析:7000万 Chips 全球采样策略指南
🌍 Clay Foundation Model(开源地球基础模型)是如何炼成的?本文将带你深入它背后的训练数据策略——基于全球 6 类卫星/航空影像平台、约 7000 万张影像 Chips、33.8 TB 数据量构建的平衡数据集,看懂这份"全球采样配方",你就理解了多传感器地球 AI 模型训练的完整思路。
一、为什么采样策略比算力更关键
Clay 是一个**传感器无关(sensor-agnostic)**的 MAE(Masked Autoencoder)基础模型:它能接受任意波段数、任意分辨率、任意尺寸的卫星影像输入,输出表征某片区域在某个时刻的 embedding。
要实现这一点,训练数据必须同时覆盖:
- 光谱多样性:不同传感器的波段定义
- 空间多样性:全球不同地貌、城市与乡村
- 时间多样性:不同季节与年份
- 分辨率跨度:从 0.5 米航空影像到 500 米 MODIS
完整采样文档见 docs/release-notes/data_sampling.md,训练透明度说明(Training Card)见 docs/release-notes/specification.md。
二、第一步:挑选 6 大影像平台
入选标准非常务实:云端可用、有 STAC 目录、格式经过云优化(Cloud Optimized)。最终 Clay v1 训练使用了 6 类平台:
| 平台 | 空间覆盖 | 光谱波段 | 地面分辨率 GSD |
|---|---|---|---|
| Sentinel-2 L2A | 全球 | 10 个光学波段 | 10 m |
| Landsat 8 / 9 | 全球 | 6 个光学波段 | 30 m |
| Sentinel-1 RTC(SAR 雷达) | 全球 | 2 个雷达波段 | 10 m |
| NAIP(美国航空影像) | 美国 | 4 个光学波段 | < 1 m |
| LINZ(新西兰航空影像) | 新西兰 | 3 个光学波段 | < 0.5 m |
| MODIS | 全球 | 7 个波段 | 500 m |
💡 注意从 0.5 m 到 500 m 的分辨率跨度——这正是 Clay "多尺度通吃"能力的来源。
每个平台的波长、归一化均值/方差等参数统一维护在 configs/metadata.yaml,作为模型输入的一部分,让网络"知道"自己在看什么传感器。
三、核心策略:基于 MGRS 瓦片的全球平衡采样
🎯 核心原则:模型既要学会自然特征,也要学会人造特征(城市、农田)。而人造目标往往更小、分布更不均,所以采样必须刻意向人类景观倾斜。
3.1 用 MGRS 瓦片作为"分析单元"
采样以 MGRS 瓦片(Sentinel-2 分发所用的全球瓦片方案)为单位。对每个瓦片,基于 ESA WorldCover 土地覆盖图层(80 m 概览级加速计算)统计各类别的占比。
3.2 按土地覆盖类别"点名选瓦片"
对每个类别,从该类别占比最高的瓦片中随机抽取一批:
| 类别 | 抽样数 | 候选池(占比最高的) |
|---|---|---|
| Diversity(类别多样性) | 400 | 2000 |
| Built-up 建成区 | 300 + 1000 | 300 + 1500 |
| Cropland 耕地 | 800 | 3600 |
| Tree cover 树冠 | 150 | 750 |
| Grassland 草地 | 200 | 500 |
| Herbaceous wetland / Mangroves / Moss | 各 50 | 各 500 |
| Shrubland 灌木 | 100 | 500 |
| Snow and Ice 冰雪 | 25 | 500 |
| Bare / sparse vegetation | 50 | 500 |
| Permanent water bodies | 50 | 1000 |
三个值得记住的设计:
- 稀有类别给足配额:冰雪、红树林等稀见类别虽然候选池小,但确保模型见过;
- 建成区双份配额:城市瓦片单独加码,弥补人造目标的分布不均;
- 多样性补集:额外从"类别数量最多的 2000 个瓦片"中抽 400 个,保证混合地貌的覆盖。
去重后共得到 2728 个 MGRS 瓦片,且同一组位置复用于所有 4 个全球卫星系统,保证不同传感器"看同一块地球",方便跨模态学习。
四、各平台的"时间切片"抽样技巧
有了空间位置,还要决定取哪个时间。Clay 用"少量年份 × 四季"的组合,用 6 次观测近似全年变化:
- Landsat 8/9:每个位置随机选 1 个年份(2018–2023),取该年每个季度云量最少的景;L1 与 L2 产品都用,增加多样性;
- Sentinel-2:每个位置随机选 2 个年份,每年取各季度云量最少的一景;
- NAIP:按 Natural Earth 数据定向抽样——全部聚落、保护区/公园、机场、港口,每条河流随机 1 点、每个湖泊随机 1 点,另加 4000 个随机点,全部限定在美国 CONUS 区域(进一步放大人造目标权重);
- LINZ:简单随机——每个目录抽取 50% 场景(10~2000 张之间),取各区域最新影像;
- MODIS:使用 500 m 8 天表面反射率产品,只保留无 nodata 的 233 个 SIN 瓦片,每个瓦片在 2018–2023 年间每月取第一景,共 72 景/瓦片。
五、33.8 TB 数据集的 Chips 构成
通过 stacchip 流水线,最终切出约 7000 万张 Chips,总量 33.8 TB:
| 数据源 | Chips 数量 |
|---|---|
| NAIP | 20,984,171 |
| Sentinel-2 L2A | 18,683,945 |
| Sentinel-1 RTC | 16,133,394 |
| Landsat C2 L1 | 5,827,333 |
| Landsat C2 L2 SR | 5,790,651 |
| LINZ | 3,299,006 |
| MODIS | 1,350,864 |
可以看到:航空影像(NAIP + LINZ ≈ 2400 万张)刻意占到了三分之一以上——这是"人造特征优先"原则在数据配比上的直接体现。
每个 Chip 是一个 .npz 文件,包含像素体 + 归一化的时间(周/小时)与经纬度元数据。仓库中的工具脚本也说明了训练数据的工程细节:
- 数据体检:utils/check_data_sanity.py(校验
pixels维度,剔除坏文件) - 批量拆分:utils/split_npz.py(将 128 张/文件的 npz 拆成 32 张小文件,方便 DataLoader 加载)
六、训练配置:6.32 亿参数的 ViT 如何"吃下"多传感器数据
6.1 模型与损失
- 架构:动态嵌入块 + 位置编码 + ViT-Large MAE 编码器(dim=1024, depth=24, heads=16)+ 轻量解码器 + DINOv2 教师模型
- 损失构成:95% 重建损失(MAE 重构被掩码的 75% patches)+ 5% 表征损失(对齐 DINOv2 教师)
- 总参数量 632M(编码器 311M / 解码器 15M / 教师 304M)
6.2 分布式训练规模
从 configs/config.yaml 和 train_clay.sh 可以看到一次完整的集群训练配置:
- 集群:20 台 AWS g6.48xlarge(每台 8 张 NVIDIA L4 GPU),DDP 策略、bf16 混合精度
- 超参:AdamW,学习率 1e-5,weight decay 0.05,余弦退火重启调度
- 规模:约 100 个 epoch,每 epoch 约 8 小时(2024 年 9 月完成),最终训练/验证损失均为 0.165
🧾 官方还按斯坦福 Foundation Model 透明度索引披露了碳排放等训练账目,见 docs/release-notes/specification.md。
七、数据加载管线中的三个巧思
打开 claymodel/datamodule.py 会发现,数据加载本身就藏着不少采样智慧:
- 平台均衡采样器:
ClayDistributedSampler按平台分组,把小平台的索引重复补齐到最大平台的长度,再按平台轮流组 batch——保证 MODIS 和 NAIP 不会被"淹没"; - 位置/时间随机置零:20% 的 Chip 会把时间与经纬度元数据归零,逼模型学会纯靠像素也能理解内容;
- SAR 特殊处理:Sentinel-1 的反射率转为 dB 标度、坏像素替换为极小值,雷达和光学数据就能在同一归一化框架下共处。
验证集按 8:2 划分且按平台分层(stratify),确保每个传感器都有验证样本。
八、复现入口:从数据到训练只需一行命令
想自己跑起来?安装后只需:
# 快速验证(单批次)
python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml --trainer.fast_dev_run=True
# 正式训练
python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml
训练脚本 trainer.py 基于 LightningCLI 将模型与数据模块拼装起来,集群提交模板见 train_clay.sh,Slurm 集群配置模板见 cluster/ml-cluster.yaml.template。
九、采样策略的边界(官方已披露的局限)
- 只覆盖陆地与近海,不含极地、深海与夜间数据
- 每个位置最多 6 个时间点,是档案库的极小抽样
- 未显式包含极端事件(如洪水、火灾峰值时刻)
这些"刻意不做"同样重要——它们定义了模型的能力边界,也提醒使用者:基础模型是起点,领域应用仍需针对性微调。
十、总结:一份可复用的"地球数据采样清单"
📌 回顾 Clay 的配方,对任何想做地球基础模型的人来说都是通用方法论:
- 平台选择看三条件:云端可用、STAC 目录、云优化格式
- 空间用瓦片体系平衡:MGRS + 土地覆盖图层,稀有类别保底配额
- 人造目标加权:城市、机场、港口单独点名采样
- 时间取"季度最清晰":用云量过滤换观测质量
- 小平台靠采样器补齐:数据均衡放在 DataLoader 层做
- 元数据随机丢弃:防止模型"背坐标"而不是"看内容"
这套策略的最终产物——约 7000 万 Chips 支撑的 6.32 亿参数模型——以 Apache-2.0 协议开源。想继续深入,可从 docs/getting-started/quickstart.md 快速上手,再到 docs/tutorials/embeddings.ipynb 亲手生成你的第一组地球 embedding。