PILOT的BaseLearner源码详解:增量学习中的示例(Exemplar)是如何逐类选取与管理的?

原创2026-11-15 10:06:391,686 阅读

PILOT的BaseLearner源码详解:增量学习中的示例(Exemplar)是如何逐类选取与管理的?

📌 概要:PILOT 是一个基于预训练模型的持续学习(Continual Learning)工具箱,其核心基类 BaseLearner 统一实现了增量学习中"示例(Exemplar)"的存储、逐类选取与记忆管理。本文带你逐行读懂 build_rehearsal_memory 背后的三条代码路径:旧类压缩、贪心选取新类示例、以及固定记忆模式下的统一重构。

在类增量学习(Class-Incremental Learning, CIIL)中,模型每学会一批新类,就可能"忘掉"旧类。经典的缓解手段是重放记忆(Rehearsal Memory):为每个类只保留少量有代表性的样本(即 Exemplar),与新类数据一起混合训练。PILOT 在 models/base.py 的 BaseLearner 中把这套逻辑做成了所有算法共享的基础设施——iCaRL、DER、FOSTER、MEMO 等 10 多个方法都直接复用它。

CIFAR-100增量学习任务中各方法随类数增长的正确率曲线,展示PILOT工具箱的方法对比

为什么需要 Exemplar:遗忘问题的直观体现

上图为 PILOT 在 CIFAR-100(10 类增量)上的复现结果:Finetune 等无记忆方法随类数增加准确率持续下滑,而 MEMO、FOSTER、DER 这类带 Exemplar 重放的方法曲线明显更平缓。这说明**"存哪些样本、每类存几个"直接决定了抗遗忘能力**,而 PILOT 正是把这个决策统一交给了 BaseLearner。

BaseLearner 的内存管理:三个关键参数

BaseLearner 在构造时从配置文件读取三个参数(models/base.py#L23-L25):

参数 含义 典型取值示例
memory_size 记忆池总容量 MEMO 中为 2000(exps/memo.json)
memory_per_class 每类固定保留数 20
fixed_memory 是否固定每类配额 true / false

由此派生出核心的 samples_per_class 属性(models/base.py#L37-L44):

  • 默认模式:memory_size // total_classes,即"总预算除以已见类数"——类越多,每类分到的名额越少,这正是 iCaRL 式的动态预算策略;
  • fixed_memory 模式:直接返回 memory_per_class,每类名额恒定。

另外两个成员变量 _data_memory / _targets_memory(models/base.py#L20)就是 Exemplar 的实际存储:前者存原始图像数组,后者存对应的标签数组。

构建入口:build_rehearsal_memory 的两条路径

每个任务训练结束后,算法会调用入口函数(models/base.py#L52-L58):

  • fixed_memory == false:先 _reduce_exemplar 压缩旧类,再 _construct_exemplar 为新类选取示例;
  • fixed_memory == true:走 _construct_exemplar_unified,对所有类统一重新核算类均值。

下面逐一拆解。

_reduce_exemplar:旧类记忆池的压缩

当类数增加后,每类配额变小(例如从 100 降到 50),旧类里超出配额的 Exemplar 必须丢弃。_reduce_exemplar(models/base.py#L200-L234)的做法很直接:

  1. 把现有 _data_memory 深拷贝为临时数组,再清空正式记忆池;
  2. 遍历所有已知类,每类只取前 m 个样本放回记忆池;
  3. 顺带用训练好的网络提取特征、归一化后求均值,写回 _class_means(类均值)。

💡 注意它是"截断式"压缩而非重新挑选,简单高效;这也意味着先选入的记忆更"保值"。

_construct_exemplar:贪心"贴近类中心"选取

这是整个 Exemplar 管理最精髓的部分(models/base.py#L236-L305)。对新类中的每个类:

  1. 取出该类全部训练样本,经 extract_vector 提取特征并逐列归一化;
  2. 计算类均值向量 class_mean(全体特征的平均);
  3. 循环 m 次做贪心选择:
    • 设已选示例向量之和为 S,则候选示例 i 加入后的新均值为 mu_p = (vectors + S) / k;
    • 选出使 ‖class_mean − mu_p‖ 最小的样本,追加进记忆池;
    • 立刻从候选中删除该样本,防止重复选取。
for k in range(1, m + 1):
    S = np.sum(exemplar_vectors, axis=0)
    mu_p = (vectors + S) / k
    i = np.argmin(np.sqrt(np.sum((class_mean - mu_p) ** 2, axis=1)))
    # 选中的样本加入 _data_memory,并从候选中删除

🧠 直觉理解:这不是随机抽样,而是让"已选子集的平均特征"逐步逼近"全体样本的特征中心"。选出来的 m 个样本在特征空间中是对该类最有代表性的一组,而非最典型或最难的样本。选完后同样计算归一化均值存入 _class_means。

_construct_exemplar_unified:fixed_memory 下的全量重算

当 fixed_memory=true 时,每类配额固定,无需压缩旧类,但网络权重变了(新任务训练后),旧类示例的特征也"过时"了。_construct_exemplar_unified(models/base.py#L307-L404)因此:

  1. 先用当前网络重新计算所有旧类的 _class_means;
  2. 再用与上面完全相同的贪心算法为新类选取示例;
  3. 最后把新旧均值一次性写入新的 _class_means 矩阵。

这样保证类均值始终与最新网络状态一致,避免"旧特征、新模型"错配。

_class_means 的另一重身份:NME 评测

你可能好奇 _class_means 为什么被如此认真地维护——因为它同时服务于 NME(Nearest Mean of Embeddings)评测。eval_task 会先跑 CNN 分类头评测,再调用 _eval_nme(models/base.py#L115-L177):把测试样本特征归一化后,与各类均值算欧氏距离,取最近类作为预测。日志中打印的 NME: {...} 指标就来自这里。也就是说,Exemplar 选取时算出的类均值,本身就是最朴素线性探测器的全部参数,一举两得。

不同方法如何复用这套机制

build_rehearsal_memory 被 models/der.py#L66、models/dgr.py#L60、models/icarl.py#L56、models/coil.py#L142、models/foster.py#L88、models/memo.py#L86 等直接继承调用,差异只在参数与后续用法:

  • MEMO 重写了 _construct_exemplar(models/memo.py#L263),改为把"类均值特征"作为记忆项本身,而非原始图像;
  • L2P、MOS 等 Prompt 方法则把 exps/l2p.json 中的 memory_size 设为 0,完全不做 Exemplar 存储——PILOT 通过同一基类优雅兼容了"有记忆"与"无记忆"两类算法。

ImageNet-R 20类增量学习任务中各方法随类数增长的正确率曲线,展示PILOT工具箱的方法对比

上图是 PILOT 在 ImageNet-R 大模型增量任务上的整体对比,带 Exemplar 的方法(MEMO、FOSTER 等)在类数逼近 200 时仍保持更高准确率,侧面验证了 BaseLearner 中这套"预算分配 + 贪心选样"机制的实际价值。

总结:三句话记住 Exemplar 管理逻辑

  1. 预算分配:samples_per_class 决定每类名额,默认随类数增长而摊薄;
  2. 贪心选样:让已选示例的特征均值逐步逼近全类特征中心,并删除已选样本避免重复;
  3. 均值复用:_class_means 既是选取的依据,也是 NME 评测的模型,选取与评估闭环共享。

想动手验证?修改 exps/memo.json 中的 memory_size 后运行 python main.py --config exps/memo.json,即可观察不同预算下抗遗忘能力的变化。更多方法配置可浏览 exps/ 目录,主训练流程见 trainer.py。

登录后查看全文
LAMDA-PILOT