efficientnet_es.ra_in1k 的 RA 训练配方揭秘:RandAugment、RMSProp 与 EMA 权重平均详解

原创2026-10-20 18:11:091,694 阅读

efficientnet_es.ra_in1k 的 RA 训练配方揭秘:RandAugment、RMSProp 与 EMA 权重平均详解

efficientnet_es.ra_in1k 是 timm 库中一款基于 EfficientNet-EdgeTPU 架构的图像分类预训练模型,它的名字本身就藏着一套完整的训练配方(Recipe):在 ImageNet-1k 数据集上,采用 RandAugment 数据增强 + RMSProp 优化器 + EMA 权重平均的组合训练而成。本文带你快速看懂这套 RA 配方为什么有效,以及如何把模型用起来。

📦 这个仓库是什么?

本仓库是 efficientnet_es.ra_in1k 的模型卡(Model Card),核心文件包括:

文件 作用
README.md 模型说明、训练配方、推理代码示例
config.json 模型架构与推理配置(归一化、裁剪比例等)
model.safetensors / pytorch_model.bin 预训练权重文件

从 config.json 可以看到几个关键配置:

  • 架构:efficientnet_es(EfficientNet 的 EdgeTPU 轻量版)
  • 输出类别:num_classes 为 1000,对应 ImageNet-1k 数据集
  • 输入:3 通道、224×224 图像,crop_pct: 0.875 的中心裁剪策略
  • 归一化:ImageNet 标准的 mean/std(0.485/0.456/0.406,0.229/0.224/0.225)

模型规模非常轻巧——5.4M 参数、1.8 GMACs,非常适合移动端和边缘设备部署。

🧪 训练配方三件套详解

模型名中的 ra 就是 RandAugment 配方的标记。这套配方源自 EfficientNet 的 RandAugment 训练方案,并在论文《ResNet Strikes Back》中被总结为 B 配方。它由四个部分组成:

1️⃣ RandAugment:一条策略代替 N 种增强

传统数据增强需要手工挑选旋转、平移、色彩抖动等一系列操作并逐个调参,而 RandAugment(随机增强) 的思路是:从一组增强操作池中随机抽取操作,再随机决定增强强度,用「数量 × 强度」两个超参数控制整体增强力度。

好处非常直接:

  • 训练时数据分布更丰富,模型泛化能力显著提升
  • 只调 2 个超参,大幅降低调优成本

这也是为什么同样 5M 出头的小模型,能在 ImageNet 上拿到媲美大得多的模型的精度。

2️⃣ RMSProp 优化器:复现 TF 1.0 的行为

配方特意选用了 RMSProp(复现 TensorFlow 1.0 的行为)而非常见的 Adam 或 SGD。RMSProp 为每个参数维护一个自适应学习率,收敛稳定、对超参不敏感,在视觉任务上与 RandAugment 等强增强策略配合效果很好。对于想要复现模型精度的同学,这一点尤其关键——优化器选错,精度可能悄悄掉几个点。

3️⃣ EMA 权重平均:让模型更"稳"

EMA(Exponential Moving Average,指数移动平均) 在训练过程中持续维护一份权重的滑动平均版本:

θ_ema = decay × θ_ema + (1 - decay) × θ

训练结束时导出这份"平均过的权重",而不是最后一步的权重。由于它相当于对训练轨迹上的多个模型做了集成,通常能带来 0.3%~0.5% 的稳定精度提升,并且让最终模型对随机波动更鲁棒——这是低成本、高回报的经典技巧。

4️⃣ 阶梯式学习率 + 热启动(Warmup)

学习率调度采用 Step(带阶梯式指数衰减)+ warmup 策略:训练初期用 warmup 让损失曲线平稳起飞,之后按阶梯逐步衰减学习率,帮助模型精细收敛。

🚀 快速上手:三步加载模型做推理

安装 timm 后,推理只需几行代码(完整示例见 README.md 的 "Model Usage" 一节):

import timm
from PIL import Image

img = Image.open('cat.jpg')

model = timm.create_model('efficientnet_es.ra_in1k', pretrained=True)
model = model.eval()

# 获取模型对应的数据增强配置(归一化、resize 自动搞定)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))

得益于模型卡中的 pretrained_cfg 配置,resolve_model_data_config 会自动匹配该模型的输入尺寸与归一化参数,避免预处理不一致导致精度下降。

此外,该模型还支持两种常见用法:

  • 特征提取:features_only=True 输出多层特征图,可接分割、检测等下游任务
  • 图像嵌入:num_classes=0 去掉分类头,输出 1280 维特征向量,适合相似度检索

📊 模型规格速览

指标 数值
参数量 5.4 M
计算量 1.8 GMACs
激活值 8.7 M
输入尺寸 224 × 224
数据集 ImageNet-1k
训练配方 RandAugment + RMSProp + EMA

✨ 小结

efficientnet_es.ra_in1k 是一个"麻雀虽小、五脏俱全"的范例:用 RandAugment 强增强扩充数据分布、用 RMSProp 稳定优化过程、用 EMA 权重平均收尾提精度,再配合阶梯式学习率调度,让小参数量模型在 ImageNet-1k 上也能打出不俗的成绩。如果你想复现或借鉴一套高ROI的训练配方,这套 RA 组合值得一试。

登录后查看全文
efficientnet_es.ra_in1k