TESSERA v1.0/v1.1/v2怎么选?四大版本模型对比清单+权重下载全指南
TESSERA v1.0/v1.1/v2怎么选?四大版本模型对比清单+权重下载全指南
TESSERA 是剑桥大学开发的开源地球观测基础模型(Foundation Model),能将时间序列卫星影像(Sentinel-1/2)压缩为 128 维像素级嵌入,支持土地分类、林冠高度预测等下游任务。本仓库内置了 v1.0、v1.1、v2 四套独立推理代码,checkpoint 互不通用,新手最常遇到的困惑就是:我该下哪个版本?本文给出一张对比清单和每个版本的权重下载步骤,帮你 3 分钟选对模型。
一图速查:四大版本怎么选
四个版本各自对应一个独立代码目录,checkpoint 不能跨目录混用。先看总览表:
| 版本 | 代码目录 | 权重托管 | 嵌入输出 | 推荐使用场景 |
|---|---|---|---|---|
| TESSERA v2 ⭐推荐 | tessera_infer_v2/ | Hugging Face(geotessera 组织) | 128 维 Matryoshka,fp32,可选 int8 | 新项目首选:质量最好、模型最小、维度可裁 |
| TESSERA v1.1 | tessera_infer_QAT/ | Google Drive | 128 维 int8 + scale 图 | 需要 GeoTessera 预计算 int8 嵌入同款模型 |
| TESSERA v1.0 (QAT) | tessera_infer_QAT/ | Google Drive(单文件) | 128 维 int8 + scale 图 | 复现官方原始 int8 嵌入产品 |
| TESSERA v1.0 (early) | tessera_infer/ | Google Drive(文件夹) | 128 维 fp32 | 仅复现早期 fp32 论文结果 |
💡 一句话结论:拿不准就用 v2(默认下 medium 学生模型);需要现成全球嵌入就直接用 GeoTessera 库里的 v1.1 产品。
TESSERA 的嵌入会把一整年、带云污染的卫星时序"补全"成每像素 128 维的表征,可视化效果(取前 3 维当 RGB)如下,不同区域纹理差异清晰可辨:
TESSERA v2:新项目的默认选择
v2 是新一代"教师-学生"蒸馏架构:一个 2B 教师模型(20.6 亿参数,输出 1024 维,仅用于研究和复现蒸馏,不适合部署)+ 四个像素级学生模型。学生模型输出 Matryoshka 嵌入——前 K 维可独立使用(K ∈ {16, 32, 64, 128}),想省存储直接截断即可,无需重新训练。
| 学生模型 | 参数量 | 下载体积 | 适用场景 |
|---|---|---|---|
| Nano | 1.07 M | 4 MB | 边缘设备 / 资源受限 |
| Small | 7.11 M | 28 MB | 轻量部署 |
| Medium(默认推荐) | 21.03 M | 84 MB | 均衡首选 |
| Large | 43.83 M | 175 MB | 服务端大规模推理 |
| 2B 教师 | 2,064,266,242 | 8.26 GB | 仅限蒸馏与研究 |
权重不在仓库内,由 download_weights.py 从 Hugging Face Hub 按需拉取并自动放入 student/checkpoints/:
cd tessera_infer_v2
pip install -r requirements.txt
python download_weights.py --model medium # 推荐默认,约 84 MB
python download_weights.py --model all-students # 四个学生全下
推理入口是 infer_v2.py,直接消费 tessera_preprocessing/ 产出的切片目录,例如 python infer_v2.py --model medium --data-root my_data/retiled_d_pixel --out-dir my_data/embeddings_v2,加 --dim 16 --int8 可输出 16 维 int8 嵌入。输入约定(Sentinel-2 波段顺序、S1 归一化差异等易错点)详见 tessera_infer_v2/README.md。
下图是 v2 论文中的下游任务对比:在奥地利作物分类上,TESSERA 表征 + MLP 在极少标注样本下即可超越原始数据 + RF/LR 基线,小样本场景优势尤其明显:
TESSERA v1.1:int8 嵌入的现役主力
v1.1 是预训练 QAT 模型,相比 v1.0 有三大升级:更宽的编码器(latent_dim=192、Transformer d_model=768)、全观测推理(不再随机抽 40 个时步,而是使用像素全部有效观测并按 8 的倍数分桶批处理)、以及 S1 升降轨各自独立归一化后合并。
v1.1 按数据源提供两套 checkpoint,每套又分两种规格,务必配对使用(归一化统计不同,配错会导致嵌入质量崩塌):
| 数据源 | encoder-only(约 221 MB,推理用) | full(约 10 GB,微调用) |
|---|---|---|
| Microsoft Planetary Computer(mpc,默认) | tessera_v1_1_mpc_encoder.pt |
tessera_v1_1_mpc_full.pt |
| AWS Open Data(aws) | tessera_v1_1_aws_encoder.pt |
tessera_v1_1_aws_full.pt |
下载步骤:从 Google Drive 下载对应文件放入 tessera_infer_QAT/checkpoints,然后在 configs/v1_1_infer_config.py 里把 data_source 设为 "mpc" 或 "aws",用 src/infer_v1_1.py 对单个切片推理,输出 <prefix>_emb128_int8.npy + <prefix>_emb128_scales.npy,还原 fp32 只需 int8.astype(np.float32) * scales[..., None]。
TESSERA v1.0 (QAT):复现原始 int8 嵌入产品
这是生成 GeoTessera 库中 int8 全球嵌入的原始量化感知模型,代码同样在 tessera_infer_QAT/ 目录。从 Google Drive 下载单个 checkpoint(best_model_fsdp_20250608_220648_QAT.pt)放入 tessera_infer_QAT/checkpoints/ 即可。
推理通过批量脚本 infer_all_tiles.sh 一键跑完全部分片,需先编辑 BASE_DATA_DIR、PYTHON_ENV、CPU_GPU_SPLIT(CPU:GPU 切分比例)等参数:
cd tessera_infer_QAT
bash infer_all_tiles.sh
脚本自动检测 CPU AMX 指令集加速(可用则启用,否则回退默认 CPU 推理),也支持 CPU + GPU 混合批处理。
TESSERA v1.0 (early):早期 float32 结果
最早的公开 checkpoint(best_model_fsdp_20250427_084307.pt),原生输出 fp32 嵌入,注意它不是 int8 嵌入产品所用的模型。代码在 tessera_infer/:从 Google Drive 下载 .pt 权重放入 tessera_infer/checkpoints/,编辑 infer_all_tiles.sh 中的 BASE_DATA_DIR、CPU_GPU_SPLIT、GPU_BATCH_SIZE 等参数后运行 bash infer_all_tiles.sh。该脚本支持 20 个 CPU 进程并行 + 多 GPU 批处理,适合大 ROI 批量生产。
权重下载全指南:四版本清单汇总
| 版本 | 权重来源 | 落盘位置 | 大小 |
|---|---|---|---|
| v2 学生(medium) | download_weights.py 自动拉取 | tessera_infer_v2/student/checkpoints/ |
84 MB |
| v2 教师 | 同上(--model teacher) |
tessera_infer_v2/teacher/checkpoints/ |
8.26 GB |
| v1.1 | Google Drive(4 选 1,推理下 encoder-only) | tessera_infer_QAT/checkpoints/ |
约 221 MB |
| v1.0 QAT | Google Drive(单文件) | tessera_infer_QAT/checkpoints/ |
数百 MB |
| v1.0 early | Google Drive(文件夹) | tessera_infer/checkpoints/ |
数百 MB |
避坑提示:
- ⚠️ v2 checkpoint 与 v1.x 代码完全隔离,
tessera_infer/、tessera_infer_QAT/、tessera_infer_v2/三套代码互不兼容,下载前认准目录。 - ⚠️ v1.1 的
data_source必须与 checkpoint 配对(mpc ↔ mpc、aws ↔ aws),否则输入分布错位、嵌入质量静默下降。 - ⚠️ 自己跑推理是计算密集型任务:100 km × 100 km 区域一年数据至少 1 TB 存储、建议 128 GB 内存(要求详见主 README 的 Hardware Requirements 一节)。
- 💡 不想自己跑?全球 10 m 分辨率的 2024 年嵌入(美国/欧洲 2017–2025)已通过 GeoTessera 库直接提供下载,v2 全球覆盖仍在逐步推进中。
推理完成后的统一收尾
无论哪个版本,推理产出都是分片 .npy 文件,最后统一用 stitch_tiled_representation.py 拼接为 (H, W, C) 的完整表示地图,再用 convert_npy2tiff.py 转成 TIFF 即可导入 QGIS 查看。
选型速记:新项目 → v2 medium;要复现官方 int8 全球嵌入 → v1.1(或 v1.0 QAT);写论文对比早期基线 → v1.0 early。选对版本,权重三分钟下完,剩下的交给预处理与推理流水线。


