一文看懂hiera_tiny_224.mae_in1k_ft_in1k:2790万参数、82.8% Top-1的轻量级ViT图像分类模型是什么?
一文看懂hiera_tiny_224.mae_in1k_ft_in1k:2790万参数、82.8% Top-1的轻量级ViT图像分类模型是什么?
hiera_tiny_224.mae_in1k_ft_in1k 是 timm 库中一个轻量级图像分类模型:基于 Hiera 层级式视觉 Transformer(ViT),仅 2790 万参数,输入 224×224 图像,在 ImageNet-1k 上达到 82.786% Top-1 / 96.204% Top-5 准确率。它先用 MAE 自监督预训练、再在 ImageNet-1k 上微调,适合做图像分类、特征提取和图像向量检索。
1. 模型名称拆解:一个名字读懂训练流程
hiera_tiny_224.mae_in1k_ft_in1k 每个片段都有含义:
| 名称片段 | 含义 |
|---|---|
hiera |
层级式 ViT 架构,特征图逐级下采样、通道数逐级翻倍 |
tiny |
轻量级尺寸(同级还有 small / base / large / huge) |
224 |
输入图像分辨率 224×224 |
mae_in1k |
在 ImageNet-1k 上用 MAE(Masked Autoencoder)自监督预训练 |
ft_in1k |
随后在 ImageNet-1k 上做有监督微调(fine-tune) |
这种"自监督预训练 + 微调"的两段式训练方式,让它在参数量很小的情况下,依然能学到高质量的视觉特征。
2. 核心性能:小模型的大本事
根据 README.md 中的 Model Stats:
- 参数量:27.9 M(约 2790 万)
- 计算量:4.7 GMACs(同档位 ViT 中属于极低)
- 激活值:14.6 M
- 输入尺寸:224×224,固定输入
- 分类类别数:1000(ImageNet-1k)
在 timm 官方给出的模型对比表中,它定位在同门系列的最轻量档:
| 模型 | Top-1 | Top-5 | 参数量 (M) |
|---|---|---|---|
| hiera_huge_224.mae_in1k_ft_in1k | 86.834 | 98.01 | 672.78 |
| hiera_large_224.mae_in1k_ft_in1k | 86.042 | 97.648 | 213.74 |
| hiera_base_plus_224.mae_in1k_ft_in1k | 85.134 | 97.158 | 69.9 |
| hiera_base_224.mae_in1k_ft_in1k | 84.49 | 97.032 | 51.52 |
| hiera_small_224.mae_in1k_ft_in1k | 83.884 | 96.684 | 35.01 |
| hiera_tiny_224.mae_in1k_ft_in1k | 82.786 | 96.204 | 27.91 |
可以看到:tiny 版本比 small 版本少约 700 万参数、比 base 少一半以上参数,但 Top-1 只低了 1 个多百分点——这正是"轻量级 ViT 图像分类模型"的性价比所在,非常适合端侧部署、实时推理或算力受限的场景。
3. 快速上手:3 步加载并推理
模型由 timm 统一管理,安装依赖后一行代码即可加载:
pip install timm
import timm
# 第 1 步:创建模型(pretrained=True 自动下载权重)
model = timm.create_model('hiera_tiny_224.mae_in1k_ft_in1k', pretrained=True)
model = model.eval()
# 第 2 步:获取该模型的官方预处理配置(归一化、裁剪等)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
# 第 3 步:输入图片,得到 1000 类概率
import torch
output = model(transforms(img).unsqueeze(0))
top5_prob, top5_idx = torch.topk(output.softmax(dim=1) * 100, k=5)
预处理参数在 config.json 中有完整定义:输入 [3, 224, 224]、固定输入尺寸、双三次插值、中心裁剪 0.9,归一化均值/标准差为 ImageNet 常用的 mean=[0.485, 0.456, 0.406]、std=[0.229, 0.224, 0.225]。
4. 三大典型用法
根据 README.md 的 Model Usage 部分,这个模型支持三种玩法:
4.1 图像分类(Image Classification)
标准用法,输出 1000 类得分,适合"这张图是什么"的任务。
4.2 特征图提取(Feature Map Extraction)
创建模型时加 features_only=True,输出四级多尺度特征金字塔:
torch.Size([1, 96, 56, 56])
torch.Size([1, 192, 28, 28])
torch.Size([1, 384, 14, 14])
torch.Size([1, 768, 7, 7])
这种"分辨率递减、通道数翻倍"的层级结构正是 Hiera 架构的标志,可无缝对接目标检测、分割等下游任务。
4.3 图像向量(Image Embeddings)
设置 num_classes=0 去掉分类头,或用 forward_features 获取未池化特征(形状为 (1, 49, 768)),即可把图片映射为固定向量,用于相似图检索、聚类、去重等场景。
5. 仓库文件结构速览
本仓库是一个模型仓库(model repo),核心文件如下:
| 文件 | 说明 |
|---|---|
| README.md | 模型卡片:训练方式、性能指标、官方用法示例、模型对比表 |
| config.json | 模型架构与推理配置:架构名、类别数、输入尺寸、归一化参数、许可证 |
| model.safetensors | 模型权重(safetensors 格式,加载更快更安全) |
| pytorch_model.bin | 模型权重(PyTorch 传统 bin 格式) |
其中 config.json 的 pretrained_cfg 字段还记录了权重来源标签 mae_in1k_ft_in1k 与许可证 cc-by-nc-4.0。
6. 使用注意:许可证是 CC BY-NC 4.0
该模型权重采用 CC BY-NC 4.0 许可(见 config.json 中 license 字段),允许非商业使用、分享与修改,但不适用于商业产品。如果你的项目涉及商业用途,选型时需留意这一点。
7. 小结:什么场景选它?
- ✅ 选它:需要低延迟、低显存的 ViT 图像分类/特征骨干;做图像向量检索或检测分割的多尺度特征提取;研究 Hiera 层级 ViT 架构。
- ⚠️ 换更大的:追求极限精度时可选
hiera_small_224(35M / 83.9%)或hiera_base_224(51.5M / 84.5%),精度每提升 1 个百分点都要付出 1~2 倍的参数量代价。
一句话总结:hiera_tiny_224.mae_in1k_ft_in1k 用 2790 万参数换来了接近大半个点的"大模型体验",是轻量级 ViT 图像分类模型中难得的"小身材、高准头"选手。