efficientnet_es.ra_in1k 的 RA 训练配方揭秘:RandAugment、RMSProp 与 EMA 权重平均详解
efficientnet_es.ra_in1k 的 RA 训练配方揭秘:RandAugment、RMSProp 与 EMA 权重平均详解
efficientnet_es.ra_in1k 是 timm 库中一款基于 EfficientNet-EdgeTPU 架构的图像分类预训练模型,它的名字本身就藏着一套完整的训练配方(Recipe):在 ImageNet-1k 数据集上,采用 RandAugment 数据增强 + RMSProp 优化器 + EMA 权重平均的组合训练而成。本文带你快速看懂这套 RA 配方为什么有效,以及如何把模型用起来。
📦 这个仓库是什么?
本仓库是 efficientnet_es.ra_in1k 的模型卡(Model Card),核心文件包括:
| 文件 | 作用 |
|---|---|
| README.md | 模型说明、训练配方、推理代码示例 |
| config.json | 模型架构与推理配置(归一化、裁剪比例等) |
| model.safetensors / pytorch_model.bin | 预训练权重文件 |
从 config.json 可以看到几个关键配置:
- 架构:
efficientnet_es(EfficientNet 的 EdgeTPU 轻量版) - 输出类别:
num_classes为 1000,对应 ImageNet-1k 数据集 - 输入:3 通道、224×224 图像,
crop_pct: 0.875的中心裁剪策略 - 归一化:ImageNet 标准的 mean/std(
0.485/0.456/0.406,0.229/0.224/0.225)
模型规模非常轻巧——5.4M 参数、1.8 GMACs,非常适合移动端和边缘设备部署。
🧪 训练配方三件套详解
模型名中的 ra 就是 RandAugment 配方的标记。这套配方源自 EfficientNet 的 RandAugment 训练方案,并在论文《ResNet Strikes Back》中被总结为 B 配方。它由四个部分组成:
1️⃣ RandAugment:一条策略代替 N 种增强
传统数据增强需要手工挑选旋转、平移、色彩抖动等一系列操作并逐个调参,而 RandAugment(随机增强) 的思路是:从一组增强操作池中随机抽取操作,再随机决定增强强度,用「数量 × 强度」两个超参数控制整体增强力度。
好处非常直接:
- 训练时数据分布更丰富,模型泛化能力显著提升
- 只调 2 个超参,大幅降低调优成本
这也是为什么同样 5M 出头的小模型,能在 ImageNet 上拿到媲美大得多的模型的精度。
2️⃣ RMSProp 优化器:复现 TF 1.0 的行为
配方特意选用了 RMSProp(复现 TensorFlow 1.0 的行为)而非常见的 Adam 或 SGD。RMSProp 为每个参数维护一个自适应学习率,收敛稳定、对超参不敏感,在视觉任务上与 RandAugment 等强增强策略配合效果很好。对于想要复现模型精度的同学,这一点尤其关键——优化器选错,精度可能悄悄掉几个点。
3️⃣ EMA 权重平均:让模型更"稳"
EMA(Exponential Moving Average,指数移动平均) 在训练过程中持续维护一份权重的滑动平均版本:
θ_ema = decay × θ_ema + (1 - decay) × θ
训练结束时导出这份"平均过的权重",而不是最后一步的权重。由于它相当于对训练轨迹上的多个模型做了集成,通常能带来 0.3%~0.5% 的稳定精度提升,并且让最终模型对随机波动更鲁棒——这是低成本、高回报的经典技巧。
4️⃣ 阶梯式学习率 + 热启动(Warmup)
学习率调度采用 Step(带阶梯式指数衰减)+ warmup 策略:训练初期用 warmup 让损失曲线平稳起飞,之后按阶梯逐步衰减学习率,帮助模型精细收敛。
🚀 快速上手:三步加载模型做推理
安装 timm 后,推理只需几行代码(完整示例见 README.md 的 "Model Usage" 一节):
import timm
from PIL import Image
img = Image.open('cat.jpg')
model = timm.create_model('efficientnet_es.ra_in1k', pretrained=True)
model = model.eval()
# 获取模型对应的数据增强配置(归一化、resize 自动搞定)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0))
得益于模型卡中的 pretrained_cfg 配置,resolve_model_data_config 会自动匹配该模型的输入尺寸与归一化参数,避免预处理不一致导致精度下降。
此外,该模型还支持两种常见用法:
- 特征提取:
features_only=True输出多层特征图,可接分割、检测等下游任务 - 图像嵌入:
num_classes=0去掉分类头,输出 1280 维特征向量,适合相似度检索
📊 模型规格速览
| 指标 | 数值 |
|---|---|
| 参数量 | 5.4 M |
| 计算量 | 1.8 GMACs |
| 激活值 | 8.7 M |
| 输入尺寸 | 224 × 224 |
| 数据集 | ImageNet-1k |
| 训练配方 | RandAugment + RMSProp + EMA |
✨ 小结
efficientnet_es.ra_in1k 是一个"麻雀虽小、五脏俱全"的范例:用 RandAugment 强增强扩充数据分布、用 RMSProp 稳定优化过程、用 EMA 权重平均收尾提精度,再配合阶梯式学习率调度,让小参数量模型在 ImageNet-1k 上也能打出不俗的成绩。如果你想复现或借鉴一套高ROI的训练配方,这套 RA 组合值得一试。