如何选对 Clay Foundation Model 模型尺寸:tiny/small/base/large 完整选型与避坑指南

原创2026-11-13 13:41:211,663 阅读

如何选对 Clay Foundation Model 模型尺寸:tiny/small/base/large 完整选型与避坑指南

Clay Foundation Model 是一个开源的地球观测(Earth Observation)基础模型,输入卫星影像和位置时间信息,输出描述该区域的高维向量(embeddings),可进一步用于分类、回归、变化检测等下游任务。在使用它时,很多人第一步就卡在 模型尺寸怎么选:代码中提供了 tiny、small、base、large 四种规格,选错了不仅显存不够,还会踩中"权重加载失败"的隐形坑。这篇文章帮你 30 秒看懂每种尺寸的定位,并列出 4 个最常见的选型坑 🕳️

4 种模型尺寸一览:先看参数对比表

Clay 的核心是一个基于 Vision Transformer 的 MAE(Masked Autoencoder)编码器。四个尺寸的差异主要体现在**编码器通道维度(dim)、层数(depth)和注意力头数(heads)**上,所有定义都在 claymodel/model.py 中:

尺寸 编码器 dim 编码器 depth heads dim_head mlp_ratio 解码器 dim / depth 定位
tiny 192 6 4 48 2 96 / 3 冒烟测试、快速迭代
small 384 6 6 64 2 192 / 4 轻量微调(v0 版本即用它,共 127M 参数)
base 768 12 12 64 4 512 / 4 默认值,通用平衡之选
large 1024 24 16 64 4 512 / 4 官方 v1.5 预训练权重,效果最强

💡 官方发布的 v1.5 预训练权重对应 large:总参数 632M(编码器 311M + 解码器 15M + 冻结的 DINOv2 teacher 304M),仅编码器就占 1.25 GB 磁盘空间,详见 docs/release-notes/specification.md。而 v0 时代发布的是 small 规格(127M 参数、约 500MB)。

如何选对模型尺寸:按场景对照速查

选尺寸的核心逻辑一句话:有官方预训练权重要用 large;自己从零训练或资源有限,就按预算往小选。

你的场景 推荐尺寸 理由
直接用官方 v1.5 权重做推理/生成 embeddings large 官方权重只有 large,官方教程 全部显式传 model_size="large"
下游微调(分类/分割/回归)冻结编码器 large 仓库自带的微调头就是按 large 的编码器维度搭的
单机 GPU(如 24GB 显存)自己训练探索 base 代码默认值,规模与效果平衡
只有消费级显卡 / CPU 调试流程 small 或 tiny 参数少几个数量级,方便验证数据管道和训练流程
CI/单元测试、流水线冒烟测试 tiny 几百万参数级别,秒级跑通一个 batch

官方训练配置 configs/config.yaml 里写的是 model_size: large,且 batch_size 只有 1——这本身就说明了 large 对显存的压力。作为对照,微调分类头时的配置 configs/classify_eurosat.yaml 反而可以开到 batch_size: 128,因为此时只训练一个小 MLP 头、编码器是冻结的。

模型尺寸选型的 4 个常见坑

坑 1:官方权重是 large,但代码默认值是 base ⚠️

这是新手最容易踩的坑。看 claymodel/module.py:ClayMAEModule 的构造参数 model_size 默认是 "base"。而官方发布的 v1.5 checkpoint 是 large 规格。如果你从 checkpoint 加载时忘了显式传 model_size="large",模型结构会按 base 建,权重形状对不上——轻则打印一大片 No matching parameter for xxx with size ... 警告、精度莫名其妙变差,重则直接加载失败。

正确姿势:像官方教程那样显式传参:

module = ClayMAEModule.load_from_checkpoint(
    checkpoint_path=CHECKPOINT_PATH,
    model_size="large",
    metadata_path="configs/metadata.yaml",
)

坑 2:微调头是"写死"给 large 的

仓库自带的下游任务(分类/分割/回归)微调工厂类直接硬编码了 large 的编码器维度。以 claymodel/finetune/classify/factory.py 为例,Encoder 的 dim=1024, depth=24, heads=16 就是 large 的参数。如果你换成 base 或 small 的权重,微调头与编码器维度不匹配,训练日志里同样会出现 No matching parameter ... with size 的提示(四个微调任务的 factory 里都有这个提示逻辑,如 claymodel/finetune/segment/factory.py)。结论:用官方微调示例,就配合 large 权重。

坑 3:不同尺寸输出的 embedding 不互通

embedding 维度等于编码器的 dim:tiny=192、small=384、base=768、large=1024。这意味着:

  • 你用 base 跑出来的向量库,不能直接换成 large 的向量混用,反之亦然;
  • 不同尺寸之间没有权重继承关系,"先用 small 预热再升级 large"并不存在这条路,只能从头加载对应尺寸的权重。

所以选型前想清楚:这个 embedding 数据资产要存多久、服务哪些下游任务。生产环境建议一步到位上 large,避免日后全量重算。

坑 4:低估 large 的训练成本 🐘

large 不是拿来"随便练练"的。官方训练 v1.5 large 用的是 20 台 AWS g6.48xlarge(每台 8 块 GPU)× 约 100 个 epoch,每个 epoch 约 8 小时,训练配方见 train_clay.sh 和 configs/config.yaml(8 卡 × 48 节点)。如果你是研究场景、没有大集群:

  • 优先加载预训练 large 权重做推理和冻结微调;
  • 需要从零预训练实验时,用 tiny/small 验证思路,再谈放大;
  • 记住 model_size 传了非法值会直接抛 ValueError,可选值就是 model_map 里的四个(claymodel/module.py)。

切换模型尺寸的方法:3 种姿势都在这

  1. YAML 配置文件(配合 LightningCLI,官方训练入口 trainer.py):
model:
  model_size: large   # tiny / small / base / large
  mask_ratio: 0.75
  patch_size: 8
  1. Python 构造时传参(推理/自定义流程):
model = ClayMAEModule(model_size="tiny")
  1. 命令行覆盖:python trainer.py fit --model ClayMAEModule --data ClayDataModule --config configs/config.yaml --model.model_size=small

更多快速上手步骤可参考 docs/getting-started/quickstart.md。

30 秒决策速查表

问题 答案
用官方 v1.5 预训练权重? 只能用 large,加载时务必显式传 model_size="large"
跑仓库自带的分类/分割/回归微调? large(微调头按 large 维度硬编码)
自己从零训练、有多卡集群? base 起步(代码默认值),预算充足再上 large
消费级显卡或 CPU 验证流程? small;纯流程/单测用 tiny
换尺寸后旧 embedding 还能用吗? 不能,维度不同(192/384/768/1024),需重算

一句话总结:Clay 的模型尺寸选型 = "权重在哪边,尺寸就跟到哪边"。官方权重在 large,微调头也在 large;只有当你从零开始、资源受限时,才向 base / small / tiny 降档。选对尺寸,剩下的就是安心训练了 🚀

登录后查看全文
model