一文看懂hiera_tiny_224.mae_in1k_ft_in1k:2790万参数、82.8% Top-1的轻量级ViT图像分类模型是什么?

原创2026-10-19 21:12:041,972 阅读

一文看懂hiera_tiny_224.mae_in1k_ft_in1k:2790万参数、82.8% Top-1的轻量级ViT图像分类模型是什么?

hiera_tiny_224.mae_in1k_ft_in1k 是 timm 库中一个轻量级图像分类模型:基于 Hiera 层级式视觉 Transformer(ViT),仅 2790 万参数,输入 224×224 图像,在 ImageNet-1k 上达到 82.786% Top-1 / 96.204% Top-5 准确率。它先用 MAE 自监督预训练、再在 ImageNet-1k 上微调,适合做图像分类、特征提取和图像向量检索。

1. 模型名称拆解:一个名字读懂训练流程

hiera_tiny_224.mae_in1k_ft_in1k 每个片段都有含义:

名称片段 含义
hiera 层级式 ViT 架构,特征图逐级下采样、通道数逐级翻倍
tiny 轻量级尺寸(同级还有 small / base / large / huge)
224 输入图像分辨率 224×224
mae_in1k 在 ImageNet-1k 上用 MAE(Masked Autoencoder)自监督预训练
ft_in1k 随后在 ImageNet-1k 上做有监督微调(fine-tune)

这种"自监督预训练 + 微调"的两段式训练方式,让它在参数量很小的情况下,依然能学到高质量的视觉特征。

2. 核心性能:小模型的大本事

根据 README.md 中的 Model Stats:

  • 参数量:27.9 M(约 2790 万)
  • 计算量:4.7 GMACs(同档位 ViT 中属于极低)
  • 激活值:14.6 M
  • 输入尺寸:224×224,固定输入
  • 分类类别数:1000(ImageNet-1k)

在 timm 官方给出的模型对比表中,它定位在同门系列的最轻量档:

模型 Top-1 Top-5 参数量 (M)
hiera_huge_224.mae_in1k_ft_in1k 86.834 98.01 672.78
hiera_large_224.mae_in1k_ft_in1k 86.042 97.648 213.74
hiera_base_plus_224.mae_in1k_ft_in1k 85.134 97.158 69.9
hiera_base_224.mae_in1k_ft_in1k 84.49 97.032 51.52
hiera_small_224.mae_in1k_ft_in1k 83.884 96.684 35.01
hiera_tiny_224.mae_in1k_ft_in1k 82.786 96.204 27.91

可以看到:tiny 版本比 small 版本少约 700 万参数、比 base 少一半以上参数,但 Top-1 只低了 1 个多百分点——这正是"轻量级 ViT 图像分类模型"的性价比所在,非常适合端侧部署、实时推理或算力受限的场景。

3. 快速上手:3 步加载并推理

模型由 timm 统一管理,安装依赖后一行代码即可加载:

pip install timm
import timm

# 第 1 步:创建模型(pretrained=True 自动下载权重)
model = timm.create_model('hiera_tiny_224.mae_in1k_ft_in1k', pretrained=True)
model = model.eval()

# 第 2 步:获取该模型的官方预处理配置(归一化、裁剪等)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

# 第 3 步:输入图片,得到 1000 类概率
import torch
output = model(transforms(img).unsqueeze(0))
top5_prob, top5_idx = torch.topk(output.softmax(dim=1) * 100, k=5)

预处理参数在 config.json 中有完整定义:输入 [3, 224, 224]、固定输入尺寸、双三次插值、中心裁剪 0.9,归一化均值/标准差为 ImageNet 常用的 mean=[0.485, 0.456, 0.406]、std=[0.229, 0.224, 0.225]。

4. 三大典型用法

根据 README.md 的 Model Usage 部分,这个模型支持三种玩法:

4.1 图像分类(Image Classification)

标准用法,输出 1000 类得分,适合"这张图是什么"的任务。

4.2 特征图提取(Feature Map Extraction)

创建模型时加 features_only=True,输出四级多尺度特征金字塔:

torch.Size([1, 96, 56, 56])
torch.Size([1, 192, 28, 28])
torch.Size([1, 384, 14, 14])
torch.Size([1, 768, 7, 7])

这种"分辨率递减、通道数翻倍"的层级结构正是 Hiera 架构的标志,可无缝对接目标检测、分割等下游任务。

4.3 图像向量(Image Embeddings)

设置 num_classes=0 去掉分类头,或用 forward_features 获取未池化特征(形状为 (1, 49, 768)),即可把图片映射为固定向量,用于相似图检索、聚类、去重等场景。

5. 仓库文件结构速览

本仓库是一个模型仓库(model repo),核心文件如下:

文件 说明
README.md 模型卡片:训练方式、性能指标、官方用法示例、模型对比表
config.json 模型架构与推理配置:架构名、类别数、输入尺寸、归一化参数、许可证
model.safetensors 模型权重(safetensors 格式,加载更快更安全)
pytorch_model.bin 模型权重(PyTorch 传统 bin 格式)

其中 config.json 的 pretrained_cfg 字段还记录了权重来源标签 mae_in1k_ft_in1k 与许可证 cc-by-nc-4.0。

6. 使用注意:许可证是 CC BY-NC 4.0

该模型权重采用 CC BY-NC 4.0 许可(见 config.json 中 license 字段),允许非商业使用、分享与修改,但不适用于商业产品。如果你的项目涉及商业用途,选型时需留意这一点。

7. 小结:什么场景选它?

  • ✅ 选它:需要低延迟、低显存的 ViT 图像分类/特征骨干;做图像向量检索或检测分割的多尺度特征提取;研究 Hiera 层级 ViT 架构。
  • ⚠️ 换更大的:追求极限精度时可选 hiera_small_224(35M / 83.9%)或 hiera_base_224(51.5M / 84.5%),精度每提升 1 个百分点都要付出 1~2 倍的参数量代价。

一句话总结:hiera_tiny_224.mae_in1k_ft_in1k 用 2790 万参数换来了接近大半个点的"大模型体验",是轻量级 ViT 图像分类模型中难得的"小身材、高准头"选手。

登录后查看全文
hiera_tiny_224.mae_in1k_ft_in1k