为什么你的timm图像分类结果不准?efficientnet_es_pruned.in1k 的224×224预处理与归一化细节全解析
为什么你的timm图像分类结果不准?efficientnet_es_pruned.in1k 的224×224预处理与归一化细节全解析
如果你用 timm 做图像分类却总觉得准确率上不去,问题往往不在模型,而出在预处理环节。本文以 efficientnet_es_pruned.in1k 为例,完整解析这个 EfficientNet-EdgeTPU 剪枝版轻量图像分类模型的 224×224 输入尺寸、Resize / Center Crop 顺序,以及 ImageNet 归一化的 mean/std 取值细节,帮你快速定位分类结果不准的根源。
📌 模型速览:efficientnet_es_pruned.in1k 是什么?
efficientnet_es_pruned.in1k 是一个基于背包剪枝(Knapsack Pruning)技术压缩的 EfficientNet-EdgeTPU 模型,在 ImageNet-1k 上完成预训练,输出 1000 个类别。它的核心卖点是轻:
| 指标 | 数值 | 说明 |
|---|---|---|
| Params | 5.4 M | 参数量仅为主流模型的几分之一 |
| GMACs | 1.8 | 计算量极低,适合端侧部署 |
| Activations | 8.7 M | 激活内存占用小 |
| Image size | 224 × 224 | 固定推荐输入尺寸 |
| num_features | 1280 | 提取图像嵌入时的向量维度 |
本仓库的文件结构如下,重点关注 config.json——它是理解预处理细节的"钥匙":
| 文件 | 作用 |
|---|---|
| README.md | 模型卡片:模型说明、三种用法(分类 / 特征提取 / 图像嵌入) |
| config.json | 架构与预训练配置,含输入尺寸、插值方式、crop 比例、归一化参数 |
| model.safetensors | safetensors 格式权重(约 22 MB) |
| pytorch_model.bin | PyTorch 传统格式权重 |
⚠️ 为什么预处理会直接影响分类准确率?
CNN 的输入分布是"训练时定好的契约"。efficientnet_es_pruned.in1k 在 ImageNet-1k 上训练时,每张图片都经过了特定的缩放 → 裁剪 → 转 Tensor → 归一化流水线。推理时只要任何一个环节和训练不一致,输入特征的统计分布就会偏移,哪怕偏移很小,1000 个类别的 softmax 输出也会明显失真——典型症状就是 Top-1 掉几个点、Top-5 掉得更夸张。
常见的"翻车"点主要有三类:
- 尺寸不对:直接
img.resize((224, 224))会拉伸变形,而不是模型期望的"等比缩放 + 中心裁剪"; - 插值方式不对:模型配置指定了
bicubic,用默认的双线性会引入高频信息损失; - 归一化不对:忘了先
toTensor()缩放到 [0, 1],或 mean/std 取值、通道顺序搞反。
📐 224×224 输入的正确姿势:Resize → Center Crop
打开 config.json,模型对输入的定义一目了然:
"input_size": [3, 224, 224],
"interpolation": "bicubic",
"crop_pct": 0.875,
"crop_mode": "center"
这四个字段组合起来,对应的推理流水线是:
- Resize:以短边缩放到
224 / 0.875 ≈ 256像素,插值方式为bicubic(长边按比例,不拉伸变形); - Center Crop:从图像中心裁剪出 224×224 区域;
- ToTensor:转换为
[0, 1]区间的CHW格式张量; - Normalize:按下一节的 mean/std 做归一化。
crop_pct = 0.875 的含义是:裁剪窗口占缩放后短边的 87.5%。timm 中这套"Resize 到 256 再中心裁剪 224"的流程是 ImageNet 系模型的标准验证协议,训练时还会做随机裁剪,而推理必须用中心裁剪,两者不可混用。
🧮 归一化细节:mean 与 std 到底怎么算
config.json 中的归一化参数:
"mean": [0.485, 0.456, 0.406],
"std": [0.229, 0.224, 0.225]
这组值是 ImageNet 数据集 RGB 三通道的全局统计量(红、绿、蓝顺序)。归一化公式为:
两个容易踩的坑:
- 必须先
toTensor():PIL 图像像素在 [0, 255],mean 0.485 是针对 [0, 1] 区间的,不归一化到 [0, 1] 直接减 mean 等于把数据全部推向负值,输出直接废掉; - 通道顺序是 RGB:如果你沿用了 OpenCV 的 BGR 图像直接喂给模型,通道顺序反了,分类结果会非常离谱。
🚀 正确推理姿势:让 timm 自动给出模型专属 transforms
好消息是,timm 已经把上述所有参数封装好了。你不需要手写 transforms,只需从模型中"解析"出它自己的数据配置:
import timm
model = timm.create_model('efficientnet_es_pruned.in1k', pretrained=True)
model = model.eval()
# 从模型中获取专属预处理配置(归一化、resize、crop 等)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
import torch
output = model(transforms(img).unsqueeze(0)) # img 为 PIL 图像
top5_prob, top5_idx = torch.topk(output.softmax(dim=1) * 100, k=5)
这段完整示例可以在 README.md 的 Model Usage 一节找到。核心就一句话:永远用 resolve_model_data_config + create_transform 生成 transforms,它保证推理预处理和训练时严格一致,从源头杜绝"预处理漂移"。
✅ 准确率下降自查清单
如果换了 transforms 还是不准,对照下面这张表逐项排查:
| # | 症状 | 可能原因 | 修复方法 |
|---|---|---|---|
| 1 | 结果随机、概率分布平坦 | 忘了 toTensor(),像素仍在 0~255 |
使用 create_transform 自动生成完整流水线 |
| 2 | 颜色鲜艳图误判率高 | 图像是 BGR 顺序 | 先 cv2.cvtColor(img, cv2.COLOR_BGR2RGB) |
| 3 | 边缘目标识别差 | 直接 resize((224, 224)) 拉伸了画面 |
改为短边 256 等比缩放 + 中心裁剪 224 |
| 4 | 细纹理类目标(羽毛、织物)偏差大 | 插值用了 nearest / bilinear |
统一使用 bicubic |
| 5 | 训练能收敛、验证却掉点 | train/eval 模式搞混,BN 统计量不对 |
推理前执行 model.eval() |
| 6 | 微调后效果变差 | 用了训练用的随机裁剪做验证 | 验证时 is_training=False |
📂 进阶用法:同一套预处理也能做特征提取
efficientnet_es_pruned.in1k 除了分类,还常用作特征 backbone。去掉分类头后输出 1280 维嵌入(num_features: 1280,见 config.json),预处理流水线完全相同。
以特征图提取为例,输入 224×224 图像后,各层输出尺寸会逐层减半:
torch.Size([1, 24, 112, 112])
torch.Size([1, 32, 56, 56])
torch.Size([1, 48, 28, 28])
torch.Size([1, 144, 14, 14])
torch.Size([1, 192, 7, 7])
最终池化区域为 7×7(对应 config.json 中的 pool_size),完整代码见 README.md 的 Feature Map Extraction 与 Image Embeddings 两节。
总结
回到开头的问题:timm 图像分类结果不准,十有八九是预处理没对齐。对 efficientnet_es_pruned.in1k 而言,记住三个数字就够了——短边缩放 256、中心裁剪 224×224、ImageNet 归一化(mean 0.485/0.456/0.406,std 0.229/0.224/0.225)。更省心的做法是直接用 timm.data.create_transform 让框架帮你生成这套配置,5.4M 参数的轻量模型 + 正确的预处理,就能稳稳跑出它应有的精度。