TF-Vision 数据增强与模型正则化完全指南:从 RandAugment、Mixup 到 Stochastic Depth

原创2026-09-06 15:27:131,332 阅读
文章标签:人工智能深度学习机器学习计算机视觉NLP预训练

TF-Vision 数据增强与模型正则化完全指南:从 RandAugment、Mixup 到 Stochastic Depth

本文基于 TensorFlow Models 仓库 TF-Vision 模块的官方文档 aug_reg.md 编写,系统讲解 TF-Vision 提供的两大类 SoTA 训练技巧:面向图像分类、检测与分割的数据增强(RandAugment/AutoAugment、Scale Jitter、Mixup/CutMix、Random Erasing)以及模型正则化(Stochastic Depth、Label Smoothing)。读完本文后,你可以直接在 TF-Vision 的 YAML 配置中启用这些技术,并能对照源码理解每个参数的实际作用路径,从而为自己的视觉训练任务定制增强与正则化方案。

技术总览:哪些方法、用在哪些任务上

TF-Vision 内置了一批针对特定视觉任务调优过的增强与正则化方法(默认方法如随机翻转、随机裁剪不在讨论范围内)。各方法的适用场景汇总如下:

方法 类别 支持的任务/模型 配置入口(YAML 路径)
RandAugment / AutoAugment 数据增强 图像分类、视频动作分类、目标检测 task.train_data.aug_type
Image scale jittering 数据增强 目标检测、语义分割 task.train_data.parser.aug_scale_min/max
Mixup / CutMix 数据增强 图像分类 task.train_data.mixup_and_cutmix
Random erasing 数据增强 图像分类 task.train_data.random_erasing
Stochastic depth 模型正则化 ResNet/ResNet-RS、SpineNet 系列、ViT、ResNet-RS-3D task.model.backbone.resnet.init_stochastic_depth_rate
Label smoothing 模型正则化 图像分类、视频动作分类 task.losses.label_smoothing

所有配置类都是基于 dataclasses 的 hyperparams.Config 子类,通过 TF-Vision 的 YAML 实验配置体系注入到训练任务中;默认值定义在 official/vision/configs/common.py,底层算子实现集中在 official/vision/ops/augment.py 与 official/vision/ops/preprocess_ops.py。

数据增强方法

RandAugment 与 AutoAugment

RandAugment 与 AutoAugment 的思路是:将多个常见的图像变换(调整对比度、方向、颜色、亮度、锐度等)组合成一个增强策略,并在训练时随机选择使用哪些变换、以多强的强度使用。两者的区别在于策略来源——AutoAugment 使用搜索得到的固定策略族(如 policy_v0、detection_policy_v0),而 RandAugment 则在统一操作集合上随机采样"层数(num_layers)×强度(magnitude)"的组合。TF-Vision 的这两种实现被设计为开箱即用、低开销,广泛适用于多种数据集。

TF-Vision 中对这两种增强的配置定义位于 official/vision/configs/common.py:

@dataclasses.dataclass
class RandAugment(hyperparams.Config):
  """Configuration for RandAugment."""
  num_layers: int = 2
  magnitude: float = 10
  cutout_const: float = 40
  translate_const: float = 10
  magnitude_std: float = 0.0
  prob_to_apply: Optional[float] = None
  exclude_ops: List[str] = dataclasses.field(default_factory=list)


@dataclasses.dataclass
class AutoAugment(hyperparams.Config):
  """Configuration for AutoAugment."""
  augmentation_name: str = 'v0'
  cutout_const: float = 100
  translate_const: float = 250

各参数含义(结合 official/vision/ops/augment.py 的实现):

  • num_layers:RandAugment 中串联随机增强操作的层数,即从操作池里随机抽几个变换依次应用(默认 2);
  • magnitude:增强强度,取值 0~10,实现中通过 level_to_arg()(augment.py#L1796)把 0~10 的强度映射为各操作的实际参数;magnitude_std 在此基础上引入标准差扰动,默认 0 表示不扰动;
  • cutout_const:Cutout 操作填充方块的边长上限,强度 10 时最大填充 cutout_const 像素;
  • translate_const:平移操作在强度 10 时对应的最大平移像素数,见 _translate_level_to_arg()(augment.py#L1683-L1688);
  • prob_to_apply:整条策略的应用概率,None 表示每次都应用;
  • exclude_ops:需要从随机池中排除的操作列表。启用 Random Erasing 时,文档特别指出要在此排除 Cutout,因为两者功能重叠(Cutout 填充随机方形区域);
  • augmentation_name:AutoAugment 的策略名。从 augment.py 中定义的策略族看,可选值包括 v0(默认)、reduced_cifar10、svhn、reduced_imagenet、detection、simple、vit、deit3 等,检测任务推荐使用 detection(对应 detection_policy_v0)。

在 YAML 实验配置中,增强通过 Augmentation 这一个 OneOf 配置选择(定义见 common.py#L131-L144,type 取值 randaug 或 autoaug)。官方文档给出的 YAML 模板如下:

task:
  train_data:
    aug_type:
      type: 'randaug'
      randaug:
        magnitude: 10
        magnitude_std: 0.0
        num_layers: 2

从源码结构看,这个配置的消费入口在图像分类数据管道 official/vision/dataloaders/classification_input.py:当 aug_type.type == 'randaug' 时构造 augment.RandAugment,autoaug 时构造 augment.AutoAugment(带 augmentation_name、cutout_const、translate_const),随后挂到数据管道的后处理环节。分类任务的训练输入配置类在 official/vision/configs/image_classification.py 中声明了 aug_type 字段,仓库内的多个 ImageNet 实验配置都以此方式启用了 RandAugment/AutoAugment。

支持的任务:图像分类、视频动作分类、目标检测。

图像尺度抖动(Image scale jittering)

尺度抖动从用户指定的区间 [aug_scale_min, aug_scale_max] 中随机抽取一个缩放因子:大于 1.0 时对图像上采样,小于 1.0 时下采样,之后再随机裁剪或补零,把缩放后的图像整理成目标尺寸。文档指出,这是训练 SoTA 目标检测模型最有效的增强手段之一,被 SpineNet、EfficientDet、Detection-RS、Copy-Paste 等检测工作广泛采用。

TF-Vision 中的定义位于 RetinaNet 实验配置 official/vision/configs/retinanet.py 的 Parser 数据类:

@dataclasses.dataclass
class Parser(hyperparams.Config):
  aug_scale_min: float = 1.0
  aug_scale_max: float = 1.0
  # ... 其他字段

默认值均为 1.0,即不启用抖动。启用方式(官方 YAML 模板):

task:
  train_data:
    parser:
      aug_scale_max: 2.0
      aug_scale_min: 0.5

从源码结构看,参数实际消费在 official/vision/ops/preprocess_ops.py 的 resize_and_crop_image_v2()(Faster R-CNN 风格预处理)中:

  1. 保持宽高比,先把短边缩放到 short_side;若长边超出 long_side 则改按长边缩放;
  2. 只有当 aug_scale_min/aug_scale_max 偏离 1.0(或是 Tensor)时才进入 random_jittering 分支,从区间内均匀采样 random_scale 乘到目标尺寸上;
  3. 若抖动后图像比目标尺寸大,则在多余范围内随机取一个偏移量裁剪出目标区域,否则左下角补零到 padded_size;
  4. 同时返回 image_info(包含原始尺寸、目标尺寸、缩放因子、裁剪偏移),下游用于把标注框同步变换。

仓库里的检测实验配置给出了真实取值参考:retinanet.py 中一个实验使用 aug_scale_min=0.8, aug_scale_max=1.2,而更激进的配置使用 aug_scale_min=0.1, aug_scale_max=2.0,可见取值幅度可随数据集和模型能力调整。

支持的任务:目标检测、语义分割。

Mixup 与 CutMix

Mixup 对两张输入图像做随机凸组合:

img = img_1 * a + img_2 * (1.0 - a),

其中 a 从 Beta 分布中采样;标签以同样方式插值:

label = label_1 * a + label_2 * (1.0 - a).

CutMix 同样组合两个训练样本,但不用线性插值,而是把 img_2 中一块随机矩形区域直接粘贴到 img_1 上。标签仍按 Mixup 的方式组合,只是 a 改为补偿所粘贴矩形的面积占比。文档指出,这两种方法是在有限标注数据下训练 Transformer 类图像模型(ViT、DEIT)的关键因素。

配置定义在 official/vision/configs/common.py:

@dataclasses.dataclass
class MixupAndCutmix(hyperparams.Config):
  """Configuration for MixupAndCutmix."""
  mixup_alpha: float = .8
  cutmix_alpha: float = 1.
  prob: float = 1.0
  switch_prob: float = 0.5
  label_smoothing: float = 0.1
  • mixup_alpha / cutmix_alpha:Beta 分布的形状参数,a ~ Beta(alpha, alpha);置 0 即关闭对应方法(此时实现会自动把 switch_prob 置为 -1 或 1,强制只走另一条路径,见 augment.py#L2651-L2656);
  • prob:对整批数据应用 Mixup/CutMix 的概率,默认 1.0,未触发时退化为仅做 label smoothing;
  • switch_prob:在 Mixup 与 CutMix 之间切换的概率(默认 0.5 各半);
  • label_smoothing:组合标签时叠加的平滑值(默认 0.1)。

YAML 模板:

task:
  train_data:
    mixup_and_cutmix:
      cutmix_alpha: 1.0
      label_smoothing: 0.1
      mixup_alpha: 0.8
      prob: 1.0
      switch_prob: 0.5

底层实现是 official/vision/ops/augment.py 中的 MixupAndCutmix 类,几个值得了解的实现细节:

  • Beta 采样通过 tf.random.gamma 实现:_sample_from_beta() 分别采样两个 Gamma 变量再归一化(augment.py#L2699-L2702),保证整个流程可在 TF Graph 模式下运行;
  • CutMix 的矩形边长为 sqrt(1 - lam) * 图像边长,中心点随机,且被"插入"的图像是 batch 内反向排列的另一张图(tf.reverse(images, [0])),Mixup 的 img_2 同理;粘贴完成后 lam 会用实际矩形面积重新校准(lam = 1 - 矩形面积/图像面积),保证标签权重与视觉占比一致;
  • 该算子同时支持 4 维(图像)和 5 维(视频)输入,因此除了图像分类也可用于视频动作分类任务,official/vision/tasks/video_classification.py 同样消费 params.mixup_and_cutmix;
  • 在图像分类任务中,它被注册为数据管道的 postprocess_fn(official/vision/tasks/image_classification.py),也就是说增强发生在 batch 组装之后、进入模型之前。

支持的任务:图像分类。

随机擦除(Random erasing)

Random erasing 采样随机矩形(不同宽高比,默认每张图一个),再用随机高斯噪声覆盖矩形内的像素。文档特别强调两个前提:其一,随机擦除在输入图像被归一化为零均值、单位方差之后应用;其二,启用随机擦除时应在 RandAugment 的 exclude_ops 中排除 Cutout,避免功能重复(Cutout 是填充随机方形区域)。

配置定义在 official/vision/configs/common.py:

@dataclasses.dataclass
class RandomErasing(hyperparams.Config):
  """Configuration for RandomErasing."""
  probability: float = 0.25
  min_area: float = 0.02
  max_area: float = 1 / 3
  min_aspect: float = 0.3
  max_aspect: Optional[float] = None
  min_count: int = 1
  max_count: int = 1
  trials: int = 10
  • probability:应用擦除的概率(默认 0.25);
  • min_area / max_area:擦除矩形面积占图像面积的比例上下界(默认 0.02 ~ 1/3);
  • min_aspect / max_aspect:宽高比上下界,max_aspect 为 None 时取 1 / min_aspect(见实现 augment.py#L2551-L2553);
  • min_count / max_count:擦除矩形个数区间,默认恰好 1 个;
  • trials:为满足面积/宽高比约束而重试采样矩形的最大次数,默认 10。

实现类 RandomErasing 位于 official/vision/ops/augment.py,_erase() 在一个 tf.function 中完成按概率触发、重试采样与噪声填充。

YAML 模板(官方文档给出的示例,min_area/max_area 为浮点数值):

task:
  train_data:
    random_erasing:
      min_area: 0.02
      max_area: 0.33

分类任务配置类在 official/vision/configs/image_classification.py 中以 random_erasing: Optional[common.RandomErasing] = None 声明,即不配置就不启用。

支持的任务:图像分类。

模型正则化方法

TF-Vision 还提供了一批 SoTA 模型正则化手段(权重衰减、Dropout 等默认方法不在此列),下面介绍文档覆盖的两种。

Stochastic depth(随机深度)

Stochastic depth 与残差网络互补,概念上类似 dropout:每个 mini-batch 随机挑选一组残差块直接旁路(用恒等映射替代),被旁路的概率随网络深度线性增长。文档指出该做法既能缩短训练时间,又能改善泛化。

支持的模型:ResNet、ResNet-RS;SpineNet、SpineNet-mobile、SpineNet-seg;Vision Transformer(ViT);ResNet-RS-3D。

YAML 模板:

task:
  model:
    backbone:
      resnet:
        init_stochastic_depth_rate: 0.2

从源码结构看,init_stochastic_depth_rate 是各 backbone 配置的字段(例如 official/vision/modeling/backbones/resnet.py 中的 init_stochastic_depth_rate: float = 0.0,默认关闭)。ResNet backbone 在构建每一组残差块时,用 official/vision/modeling/layers/nn_layers.py 的 get_stochastic_depth_rate(init_rate, i, n) 计算第 i 个块(共 n 个)的旁路概率——这正是"随深度线性增长"的落地:入口块接近 0,最深层块接近 init_rate。计算出的 stochastic_depth_drop_rate 再传入 resnet_block()(resnet.py#L328-L371),在训练期以该概率把该块输出替换为输入残差本身。

Label smoothing(标签平滑)

Label smoothing 用于缓解模型过度自信(overconfidence)从而带来的过拟合:不再使用 one-hot 标签,而是给正确类别一个接近 1 的高值 x,把 (1 - x) 均分给其余类别。

支持的模型/任务:图像分类、视频动作分类。

YAML 模板:

task:
  losses:
    label_smoothing: 0.1

从源码结构看,label_smoothing 是各任务 Losses 配置的通用字段,例如图像分类的损失配置在 official/vision/configs/image_classification.py 中定义 label_smoothing: float = 0.0(默认关闭);仓库内置的 ImageNet 训练实验普遍配置为 0.1。此外前面介绍的 MixupAndCutmix 内部也带一个独立的 label_smoothing 参数(见 augment.py 的 _smooth_labels()),用于对组合标签做平滑,与任务级 task.losses.label_smoothing 作用点不同,配置时不要混淆。

实践要点与组合建议

结合文档与源码,实际使用时可以把握以下原则:

  1. 按任务选方法:分类任务可叠加 aug_type(RandAugment/AutoAugment)+ mixup_and_cutmix + random_erasing + task.losses.label_smoothing;检测任务的核心是 parser.aug_scale_min/max 尺度抖动,配合 aug_type: autoaug(augmentation_name: 'detection')或 RandAugment;ViT 类模型在标注数据有限时,Mixup/CutMix 尤为关键。
  2. 注意相互排斥项:启用 Random erasing 时,按文档要求在 RandAugment 中排除 Cutout(exclude_ops),避免双重遮挡增强。
  3. 强度参数从保守值起步:RandAugment 默认 num_layers=2, magnitude=10;Mixup 默认 mixup_alpha=0.8, cutmix_alpha=1.0;scale jitter 参考仓库实验从 0.8~1.2 到 0.1~2.0 的幅度;stochastic depth 常用 init_stochastic_depth_rate: 0.2。所有默认值都定义在 official/vision/configs/common.py 与各任务配置文件中,可直接作为调参基线。
  4. 确认参数是否真正生效:这些配置的消费点分别在数据加载层(classification_input.py)、检测解析层(preprocess_ops.py)、任务层(tasks/image_classification.py)和 backbone 构建层(backbones/resnet.py),排查"配了没生效"的问题时可沿这条链路定位。
登录后查看全文
models