Clay Foundation Model中的Matryoshka嵌入:一个向量为何能7种尺寸随心用
Clay Foundation Model中的Matryoshka嵌入:一个向量为何能7种尺寸随心用
Clay Foundation Model 是一个面向地球观测的开源 AI 模型,它能把 Sentinel-2、Landsat 等多波段卫星影像编码为固定长度的嵌入向量(embedding)。更巧妙的是,它借鉴了 Matryoshka(Matryoshka)嵌入设计:同一个 1024 维向量可以直接截取成 7 种不同尺寸——1024 / 768 / 256 / 128 / 64 / 32 / 16,尺寸越小,存储和检索越快,且无需重新训练模型。本文基于开源代码,带你拆解这套"俄罗斯套娃"式机制的原理与实现。
一、Matryoshka 嵌入的"俄罗斯套娃"思想 🧅
Matryoshka 这个名字来自俄罗斯传统木制套娃:一个大娃里套一个小娃,每一层小娃都保留着最核心的特征。
Matryoshka 嵌入的设计正是如此:
- 向量前段信息优先:经过专门训练后,嵌入向量最靠前的维度集中了最重要的信息;
- 任意前缀都可用:把 1024 维向量截断到 768 维、256 维甚至 16 维,它依然能代表原始影像区块(chip);
- 不需要多个模型:7 个"不同尺寸的向量"全部来自同一个向量,只是在不同位置切一刀。
收益非常直观:
| 尺寸(维度) | 相对存储成本 | 典型适用场景 |
|---|---|---|
| 1024 | 100% | 最高精度分析 |
| 768 | 75% | 通用分类 / 回归 |
| 256 | 25% | 大规模向量索引 |
| 128 | 12.5% | 边缘设备、快速原型验证 |
| 32 | 3% | 实时检索、存储受限场景 |
| 16 | 1.5% | 粗筛、聚类预过滤 |
💡 16 维向量(float32 下每条约 64 字节)的存储量只有 1024 维的约 1.5%,上千万条向量也能轻松放进内存做暴力检索。
二、7 种尺寸的 dolls 配置:在 Clay 中定义在哪里
在训练配置文件 configs/config.yaml 中,可以找到定义 7 种尺寸的核心参数 dolls:
dolls: [16, 32, 64, 128, 256, 768, 1024]
doll_weights: [1, 1, 1, 1, 1, 1, 1]
训练模块 claymodel/module.py 中 ClayMAEModule 的默认 dolls 参数是 [16, 32, 64, 128, 256, 768](6 种),而配置文件将其扩展为包含完整 1024 维在内的 7 种——这正是标题中"7 种尺寸"的出处。
三、核心实现:总共 37 行的代码
完整的 Matryoshka 实现位于 claymodel/mrl.py,只有两个类,足够读懂全部机制。
3.1 MRL 模块:给同一个向量配多个"前缀读者"
MRL 为 dolls 中的每个尺寸创建一个线性层,各自负责"阅读"嵌入向量的对应前缀,核心逻辑只有一行:
logits = self.layers[f"mrl_{doll}" for doll in self.dolls]
x[:, :doll] 把嵌入向量直接截断为前 doll 维,再送入对应尺寸的层。同一个向量在一次前向中被 7 次使用,每次输出独立的预测。
3.2 MRLLoss:让所有尺寸"同时被训练"
MRLLoss 对每个尺寸的余弦相似度损失做加权平均:
losses = [self.weights[i] * (1 - self.criterion(rep, targets)).mean()
for i, rep in enumerate(representations)]
return sum(losses) / len(losses)
这是整个机制的关键所在:
- 如果只用 1024 维完整向量训练,前 16 维可能是无意义的"噪声",截断即失效;
- 而强制要求每一个前缀长度都要能独立完成任务,模型就被迫把信息按重要性从前到后排列——"信息前置"特性正是这样被训练出来的。
四、Matryoshka 在 Clay 预训练流程中的位置
Clay 是一个基于 Masked Autoencoder(MAE)的基础模型,预训练目标由两部分损失组成(见 claymodel/model.py):
| 损失组件 | 权重 | 训练内容 |
|---|---|---|
| 重建损失(rec_loss) | 0.9 | 编码器 + 解码器重建被遮蔽 75% 的影像区块,学习地球的视觉结构 |
| 表示损失(rep_loss) | 0.1 | 嵌入向量(或其前缀)对齐教师模型 DINOv2 的表示,学习语义抽象 |
MRL 机制正是挂在表示损失这一环:编码器输出 CLS 嵌入后,投影到教师特征空间,再由 MRL 的多头结构对每个尺寸的前缀分别计算与教师表示的余弦相似度。
需要如实说明:当前配置文件中的训练组名为 v1.5-nomrl-dinov2(见 configs/config.yaml),且 claymodel/model.py 中 MRL 的调用被注释,改用单个投影层 + DINOv2 教师。这说明开源代码库正处于"启用 / 不启用 MRL、搭配不同教师模型"的实验对比阶段——MRL 的完整实现与 dolls 配置都保留在仓库中,研究者修改一行代码即可切换实验方案。这正是开源的价值:整条实验路线都可复现。
五、一个向量 7 种尺寸的实用价值
Clay 预训练的产出就是嵌入向量(嵌入空间可视化可参考 docs/tutorials/embeddings.ipynb)。Matryoshka 的多尺寸特性在下游链路中非常值钱:
- 存储与速度的权衡:官方教程 docs/finetune/finetune-on-embeddings.ipynb 在约 3 万条预计算嵌入上训练随机森林,笔记本电脑上 2.5 秒即可完成打开数据、训练与预测。维度越小,可预计算并持久化的向量越多;
- 灵活的向量索引:1024 维做高精度检索、256 / 128 维构建近似最近邻(ANN)索引、16 维做粗筛分层;
- 下游任务直接复用:claymodel/finetune/ 下的分类、回归、分割三类任务都直接消费嵌入向量,不同任务可按需选择不同尺寸。
📌 嵌入编码器可通过 claymodel/finetune/embedder/factory.py 导出为 ONNX / PyTorch ExportedProgram 格式用于部署。导出模型输出完整 1024 维向量,降维由使用者在检索时一次切片操作完成,不产生任何额外推理成本。
六、快速导航:相关代码与文档
| 内容 | 路径 |
|---|---|
| MRL 实现(MRL + MRLLoss) | claymodel/mrl.py |
| 训练配置(dolls 7 种尺寸) | configs/config.yaml |
| ClayMAE 主模型与损失构成 | claymodel/model.py |
| Lightning 训练模块(dolls 默认值) | claymodel/module.py |
| Transformer 骨干 | claymodel/backbone.py |
| 训练入口 | trainer.py |
| v1.5 模型规格说明 | docs/release-notes/specification.md |
| 嵌入空间教程 | docs/tutorials/embeddings.ipynb |
| 下游微调文档(分类/回归/分割) | docs/finetune/ |
七、小结
Clay Foundation Model 中 Matryoshka 嵌入的核心诀窍其实只有一句话:在训练时让每一个截断尺寸都独立计算损失,模型就被迫把信息按重要性从前往后排好。换来的是"一个向量、7 种尺寸"的自由度——要精度时用完整 1024 维,要省存储时用 16 维,中间档位随取随用。对于要在亿级遥感向量上做检索、分类和回归的团队来说,这是让地理空间基础模型(geospatial foundation model)嵌入真正好用的关键工程设计。