如何选对 Clay Foundation Model 模型尺寸:tiny/small/base/large 完整选型与避坑指南
如何选对 Clay Foundation Model 模型尺寸:tiny/small/base/large 完整选型与避坑指南
Clay Foundation Model 是一个开源的地球观测(Earth Observation)基础模型,输入卫星影像和位置时间信息,输出描述该区域的高维向量(embeddings),可进一步用于分类、回归、变化检测等下游任务。在使用它时,很多人第一步就卡在 模型尺寸怎么选:代码中提供了 tiny、small、base、large 四种规格,选错了不仅显存不够,还会踩中"权重加载失败"的隐形坑。这篇文章帮你 30 秒看懂每种尺寸的定位,并列出 4 个最常见的选型坑 🕳️
4 种模型尺寸一览:先看参数对比表
Clay 的核心是一个基于 Vision Transformer 的 MAE(Masked Autoencoder)编码器。四个尺寸的差异主要体现在**编码器通道维度(dim)、层数(depth)和注意力头数(heads)**上,所有定义都在 claymodel/model.py 中:
| 尺寸 | 编码器 dim | 编码器 depth | heads | dim_head | mlp_ratio | 解码器 dim / depth | 定位 |
|---|---|---|---|---|---|---|---|
tiny |
192 | 6 | 4 | 48 | 2 | 96 / 3 | 冒烟测试、快速迭代 |
small |
384 | 6 | 6 | 64 | 2 | 192 / 4 | 轻量微调(v0 版本即用它,共 127M 参数) |
base |
768 | 12 | 12 | 64 | 4 | 512 / 4 | 默认值,通用平衡之选 |
large |
1024 | 24 | 16 | 64 | 4 | 512 / 4 | 官方 v1.5 预训练权重,效果最强 |
💡 官方发布的 v1.5 预训练权重对应
large:总参数 632M(编码器 311M + 解码器 15M + 冻结的 DINOv2 teacher 304M),仅编码器就占 1.25 GB 磁盘空间,详见 docs/release-notes/specification.md。而 v0 时代发布的是small规格(127M 参数、约 500MB)。
如何选对模型尺寸:按场景对照速查
选尺寸的核心逻辑一句话:有官方预训练权重要用 large;自己从零训练或资源有限,就按预算往小选。
| 你的场景 | 推荐尺寸 | 理由 |
|---|---|---|
| 直接用官方 v1.5 权重做推理/生成 embeddings | large |
官方权重只有 large,官方教程 全部显式传 model_size="large" |
| 下游微调(分类/分割/回归)冻结编码器 | large |
仓库自带的微调头就是按 large 的编码器维度搭的 |
| 单机 GPU(如 24GB 显存)自己训练探索 | base |
代码默认值,规模与效果平衡 |
| 只有消费级显卡 / CPU 调试流程 | small 或 tiny |
参数少几个数量级,方便验证数据管道和训练流程 |
| CI/单元测试、流水线冒烟测试 | tiny |
几百万参数级别,秒级跑通一个 batch |
官方训练配置 configs/config.yaml 里写的是 model_size: large,且 batch_size 只有 1——这本身就说明了 large 对显存的压力。作为对照,微调分类头时的配置 configs/classify_eurosat.yaml 反而可以开到 batch_size: 128,因为此时只训练一个小 MLP 头、编码器是冻结的。
模型尺寸选型的 4 个常见坑
坑 1:官方权重是 large,但代码默认值是 base ⚠️
这是新手最容易踩的坑。看 claymodel/module.py:ClayMAEModule 的构造参数 model_size 默认是 "base"。而官方发布的 v1.5 checkpoint 是 large 规格。如果你从 checkpoint 加载时忘了显式传 model_size="large",模型结构会按 base 建,权重形状对不上——轻则打印一大片 No matching parameter for xxx with size ... 警告、精度莫名其妙变差,重则直接加载失败。
正确姿势:像官方教程那样显式传参:
module = ClayMAEModule.load_from_checkpoint(
checkpoint_path=CHECKPOINT_PATH,
model_size="large",
metadata_path="configs/metadata.yaml",
)
坑 2:微调头是"写死"给 large 的
仓库自带的下游任务(分类/分割/回归)微调工厂类直接硬编码了 large 的编码器维度。以 claymodel/finetune/classify/factory.py 为例,Encoder 的 dim=1024, depth=24, heads=16 就是 large 的参数。如果你换成 base 或 small 的权重,微调头与编码器维度不匹配,训练日志里同样会出现 No matching parameter ... with size 的提示(四个微调任务的 factory 里都有这个提示逻辑,如 claymodel/finetune/segment/factory.py)。结论:用官方微调示例,就配合 large 权重。
坑 3:不同尺寸输出的 embedding 不互通
embedding 维度等于编码器的 dim:tiny=192、small=384、base=768、large=1024。这意味着:
- 你用 base 跑出来的向量库,不能直接换成 large 的向量混用,反之亦然;
- 不同尺寸之间没有权重继承关系,"先用 small 预热再升级 large"并不存在这条路,只能从头加载对应尺寸的权重。
所以选型前想清楚:这个 embedding 数据资产要存多久、服务哪些下游任务。生产环境建议一步到位上 large,避免日后全量重算。
坑 4:低估 large 的训练成本 🐘
large 不是拿来"随便练练"的。官方训练 v1.5 large 用的是 20 台 AWS g6.48xlarge(每台 8 块 GPU)× 约 100 个 epoch,每个 epoch 约 8 小时,训练配方见 train_clay.sh 和 configs/config.yaml(8 卡 × 48 节点)。如果你是研究场景、没有大集群:
- 优先加载预训练 large 权重做推理和冻结微调;
- 需要从零预训练实验时,用
tiny/small验证思路,再谈放大; - 记住
model_size传了非法值会直接抛ValueError,可选值就是model_map里的四个(claymodel/module.py)。
切换模型尺寸的方法:3 种姿势都在这
- YAML 配置文件(配合 LightningCLI,官方训练入口 trainer.py):
model:
model_size: large # tiny / small / base / large
mask_ratio: 0.75
patch_size: 8
- Python 构造时传参(推理/自定义流程):
model = ClayMAEModule(model_size="tiny")
- 命令行覆盖:
python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml --model.model_size=small
更多快速上手步骤可参考 docs/getting-started/quickstart.md。
30 秒决策速查表
| 问题 | 答案 |
|---|---|
| 用官方 v1.5 预训练权重? | 只能用 large,加载时务必显式传 model_size="large" |
| 跑仓库自带的分类/分割/回归微调? | large(微调头按 large 维度硬编码) |
| 自己从零训练、有多卡集群? | base 起步(代码默认值),预算充足再上 large |
| 消费级显卡或 CPU 验证流程? | small;纯流程/单测用 tiny |
| 换尺寸后旧 embedding 还能用吗? | 不能,维度不同(192/384/768/1024),需重算 |
一句话总结:Clay 的模型尺寸选型 = "权重在哪边,尺寸就跟到哪边"。官方权重在 large,微调头也在 large;只有当你从零开始、资源受限时,才向 base / small / tiny 降档。选对尺寸,剩下的就是安心训练了 🚀