PILOT样本记忆类增量学习详解:iCaRL、FOSTER、MEMO与DER的记忆管理实现

原创2026-11-15 09:40:171,906 阅读

PILOT样本记忆类增量学习详解:iCaRL、FOSTER、MEMO与DER的记忆管理实现

PILOT 是一个面向预训练模型的持续学习(Continual Learning)开源工具箱,用统一框架复现了 L2P、FOSTER、MEMO 等 20 余种类增量学习算法。本文聚焦其中最经典的四个样本记忆类增量学习方法——iCaRL、FOSTER、MEMO 与 DER,带你读懂它们如何用"少量样本 + 特殊网络结构"对抗灾难性遗忘,并讲清 PILOT 中共享的记忆管理实现。

💾 为什么增量学习需要"样本记忆"

类增量学习中,模型要逐个任务学习新类别。由于神经网络在学新任务时会覆盖旧知识,老类别的准确率往往会快速下滑(即"灾难性遗忘")。样本记忆类方法的核心思路是:为每个旧类别保留少量代表性样本(exemplar,又称重放缓冲区 rehearsal memory),在新任务训练时与它们混合训练,用极小的存储开销换回旧知识。

PILOT 把这四套方法放在同一套骨架上实现,因此记忆管理逻辑是共享的,这是理解全部四个方法的关键。

PILOT工具箱在CIFAR-100上对iCaRL、FOSTER、MEMO、DER等样本记忆类增量学习方法的准确率对比

🧠 共享基础:BaseLearner 的记忆管理实现

所有方法都继承自 models/base.py 中的 BaseLearner,它维护两个核心数组:

  • _data_memory / _targets_memory:存储已保留的样本与对应标签
  • _class_means:存储每个类别的特征均值(用于 NME 评测与最近均值分类)

每个任务训练结束后,框架会调用 build_rehearsal_memory,它根据配置在两种分配策略间切换:

模式 触发条件 行为 实现函数
动态分配 fixed_memory: false 总预算 memory_size(如 2000)平均给所有类别,先裁剪旧类样本,再为新类做贪心选择 _reduce_exemplar + _construct_exemplar
固定分配 fixed_memory: true 每类固定保留 memory_per_class 个样本(如 20),旧类均值用新网络重算 _construct_exemplar_unified

贪心选择算法(herding)值得新手重点理解,它决定了"留哪几张图":

  1. 对新类别的所有训练样本过网络,提取并归一化特征向量;
  2. 计算该类的特征均值向量 class_mean;
  3. 每次从剩余样本中挑选一张,使得"已选样本均值 + 该样本"最接近 class_mean;
  4. 选中的样本从候选中剔除,重复至选满配额。

这样选出的样本在特征空间里能最好地代表整个类别分布,而不是随机抽取的几张图。

⭐ iCaRL:知识蒸馏 + 贪心样本重采样

iCaRL 是记忆类方法的开山之作,PILOT 中的实现要点:

  • 单骨干 + 教师网络:所有任务共享同一个 backbone;每完成一个任务,在 after_task 中把当前网络深拷贝并冻结,成为下一阶段的"教师";
  • 蒸馏损失:增量阶段训练时,损失 = 新类交叉熵 + 旧类 logits 的 KD 损失(温度 T: 2,见 _update_representation 与 _KD_loss),让新模型"模仿"旧模型在老类别上的软输出;
  • 记忆更新:训练结束后走基类的动态分配流程,2000 ÷ 当前总类数 即每类保留量,并用贪心算法为新类选样。

🚀 FOSTER:特征强化 + 特征压缩两阶段

FOSTER 的口号是"让模型更强,让网络更小",PILOT 实现分为两个阶段:

  1. 特征强化(Feature Boosting):冻结旧骨干 backbones<a href="https://link.gitcode.com/i/8b826e82bb477e3665234bc9ed1bf6ed" target="_blank">0],追加一个可训练的新骨干。新骨干上的交叉熵损失按每类样本量加权(有效数权重,beta1: 0.96,见 [models/foster.py#L113-L146),并叠加旧分类器 logits 的 KD 损失(lambda_okd: 1)与特征增强损失 loss_fe(_feature_boosting);
  2. 特征压缩(Feature Compression):另建一个更小的"学生网络" snet,只通过软标签蒸馏(BKD 损失,beta2: 0.97,见 _feature_compression)去逼近教师的输出分布。压缩后的学生网络作为下一任务的起点,从而在提升能力的同时控制参数增长。

🧩 MEMO:通用块 + 专用块,603 个样本的哲学

MEMO 的论文标题是《A Model or 603 Exemplars》,主张"与其囤一堆样本,不如让模型本身抗遗忘"。其结构由两部分拼接(extract_vector):

  • 任务无关的通用块 TaskAgnosticExtractor:ViT 的前 11 个 Transformer Block,学习通用特征;初始任务训练后冻结(train_base: false,见 after_task);
  • 任务相关的专用块 AdaptiveExtractors:每个任务追加一个 ViT 最后 1 个 Block 的 Specialized_Vit(backbone/vit_memo.py#L832-L856),任务结束即冻结(train_adaptive: false)。

训练时,除主分类损失外,还对专用块输出加辅助损失(alpha_aux: 1.0,见 _update_representation)。由于专用块只负责"微调适配",样本量可以压到极小——MEMO 还在 models/memo.py#L263-L345 中自带了一份贪心选样实现,并为新类维护类均值用于 NME(最近均值嵌入)评测。

🔁 DER:每个任务一份骨干的动态扩展

DER(Dynamically Expandable Representation)的思路很直观:来一个新任务,就复制一份完整骨干网络专门服务它,旧骨干冻结。

  • update_fc 中,新骨干直接加载上一骨干的权重作为初始化(utils/inc_net.py#L490-L513),推理时把各任务骨干的特征拼接后送入全局分类器;
  • 训练损失 = 全局分类器交叉熵 + 辅助分类器损失(仅对新骨干的特征输出,见 _update_representation 与 DERNet.forward 中的 aux_logits),迫使新骨干快速学会新任务、不干扰旧知识;
  • 每任务训练时只解冻最后一个骨干(train)。

⚠️ 注意:该文件头部注明(models/der.py#L1),当前实现只包含 DER 的动态扩展过程,原论文的 masking 与 pruning 步骤未实现。

📊 四方法速查对比

方法 抗遗忘机制 网络演化 记忆策略(CIFAR-100 / ImageNet-R) 核心超参
iCaRL 教师网络知识蒸馏 单骨干持续微调 动态 2000 / 每类 20 T: 2
FOSTER 强化 + 压缩两阶段 旧骨干冻结 + 新骨干 + 学生网络 固定每类 20 beta1: 0.96、beta2: 0.97
MEMO 通用块冻结 + 专用块隔离 通用块 + 每任务 1 个专用 Block 动态 2000 / 每类 20 alpha_aux: 1.0
DER 每任务独立骨干 + 辅助损失 骨干按任务动态追加 动态 2000 / 每类 20 —

对应的实验配置都在 exps/ 目录下:icarl.json、foster.json、memo.json、der.json,以及 ImageNet-R 版本的 *_inr.json(init_cls: 20、increment: 20)。

🛠️ 三步跑通:从克隆到出结果

git clone https://gitcode.com/gh_mirrors/la/LAMDA-PILOT
cd LAMDA-PILOT
python main.py --config=./exps/icarl.json
  • main.py 读取 JSON 配置后交给 trainer.py 驱动逐任务训练:每个任务依次执行 incremental_train → eval_task → after_task;
  • 运行前需安装 torch 2.0.1、torchvision、timm 等依赖(详见 README.md);
  • CIFAR100 会自动下载;CUB200、ImageNet-R 等数据集需要按 README 指引在 utils/data.py 中指定本地路径;
  • 想换方法,只需把 --config 指向对应的 JSON(如 ./exps/der.json),模型会由 utils/factory.py 按 model_name 字段自动路由。

PILOT工具箱在ImageNet-R基准上对FOSTER、MEMO、DER等增量学习方法的Top-1准确率曲线

上图是 PILOT 在 ImageNet-R(200 类、每任务 20 类、固定每类 20 样本)上的复现结果:四个记忆类方法中 FOSTER 的曲线全程领先,MEMO 紧随其后,而纯微调的 Finetune 衰减最明显——这正是样本记忆价值的直观体现。

✅ 小结

  • 记忆管理是共享的:动态/固定两种分配、贪心选样、类均值维护全部沉淀在 models/base.py,四个方法只管各自的"抗遗忘配方";
  • 配方的差异:iCaRL 靠教师蒸馏"模仿过去",DER 靠独立骨干"物理隔离",MEMO 靠通用/专用块分层"结构抗遗忘",FOSTER 则把"变强"和"变小"拆成两步走;
  • 上手路径:改一个 JSON、跑一条 python main.py --config=...,即可在自己的任务上对比这四种记忆策略的遗忘曲线。

理解了这套共享基座后,你再去看 PILOT 中的 L2P、CODA-Prompt 等无样本(exemplar-free)方法,就能立刻分辨出它们与本文四者在"要不要存样本"这条分界线上的不同取舍。

登录后查看全文
LAMDA-PILOT